Pipelines de streaming y tuberías con nombre para mejorar el rendimiento

Cuando encadena comandos como sort file.txt > tmp.txt && uniq tmp.txt > result.txt, paga un coste oculto: escrituras y lecturas de disco, además de que la canalización se detiene hasta que la primera etapa termina por completo antes de que comience la siguiente.

Las canalizaciones de transmisión eliminan ese coste. Los datos pasan directamente del productor al consumidor en memoria, etapa por etapa y de forma simultánea. Esta es la idea fundamental de las tuberías de Unix, y las tuberías con nombre (FIFO) la amplían aún más.

• Tubería anónima (|): conecta dos comandos adyacentes en la misma línea de shell.
• Tubería con nombre (FIFO): archivo especial del sistema de archivos que permite que procesos no relacionados transmitan datos entre sí.
• Sustitución de procesos: permite que un comando trate la salida de otro comando como si fuera un archivo.

En esta lección aprenderá a aplicar las tres técnicas para maximizar el rendimiento en flujos de trabajo reales de Bash.

Una tubería anónima conecta la salida estándar de un proceso con la entrada estándar del siguiente. El kernel mantiene ambos procesos en ejecución simultáneamente mediante un búfer en memoria de tamaño fijo (normalmente de 64 KB en Linux).

La idea clave es que la canalización es tan rápida como su etapa más lenta. Si el productor es más rápido, se bloquea cuando el búfer está lleno. Si el consumidor es más rápido, se bloquea cuando el búfer está vacío. Esta contrapresión es un control de flujo gratuito y automático.

El ejemplo siguiente cuenta las direcciones IP únicas de un registro de acceso grande sin escribir nunca un archivo temporal. Cada etapa se ejecuta de forma simultánea:

Una tubería con nombre (FIFO, «primero en entrar, primero en salir») se crea con mkfifo. Aparece en el sistema de archivos como un archivo normal, pero los datos escritos en ella nunca se almacenan en el disco: fluyen directamente al proceso lector.

Comportamientos importantes que debe recordar:

• Una escritura en una FIFO se bloquea hasta que un lector la abre, y viceversa.
• La entrada de la FIFO permanece en el sistema de archivos; debe eliminarla con rm cuando termine.
• Se permiten varios escritores, pero no se garantiza el orden entre ellos.

A continuación, un productor comprime datos en una FIFO mientras un consumidor los carga simultáneamente en S3, sin necesidad de un archivo temporal.

La sustitución de procesos utiliza la sintaxis <(command) o >(command). Bash crea internamente una FIFO (o un descriptor de archivo /dev/fd/N) y pasa la ruta al comando externo.

Esto resulta muy útil cuando una herramienta espera un argumento de nombre de archivo en lugar de stdin. Sin la sustitución de procesos necesitaría un archivo temporal; con ella, transmite los datos directamente.

• <(cmd) — el comando externo lee la salida de cmd.
• >(cmd) — el comando externo escribe en la entrada de cmd.

tee lee stdin y escribe los datos tanto en stdout como en uno o más archivos. Combinado con la sustitución de procesos, permite distribuir un único flujo entre varias canalizaciones de procesamiento simultáneamente, sin tocar el disco.

Este patrón resulta útil cuando, por ejemplo, desea registrar los datos sin procesar y procesarlos al mismo tiempo.

Cuando una única fuente de datos debe alimentar a varios consumidores independientes, combine tee con varias sustituciones de procesos >(). Cada consumidor recibe el flujo completo y se ejecuta simultáneamente.

Esto evita leer varias veces el archivo de origen. En un archivo de 10 GB, la diferencia es enorme: una lectura de disco en lugar de N lecturas.

El inverso de la distribución es la concentración: varias fuentes independientes transmiten datos a un único consumidor. Las FIFO con nombre hacen que esto sea sencillo.

Un caso de uso habitual es combinar en tiempo real los flujos de registros de varios servidores o agregar resultados parciales de trabajadores paralelos.

Tenga en cuenta que, con varios escritores, el consumidor recibe una salida intercalada. Esto está bien para datos orientados a líneas, donde cada línea es independiente, pero deberá gestionar el orden por su cuenta si la secuencia es importante.

Uno de los usos más prácticos de las FIFO es la compresión paralela. Herramientas como pigz (gzip paralelo) o pbzip2 leen un flujo; puede canalizar los datos sin comprimir directamente, sin tener que preparar un archivo sin comprimir.

El patrón siguiente archiva un directorio, lo comprime usando todos los núcleos de la CPU y transmite el resultado a un host remoto, todo de forma simultánea:

Las tuberías tienen un búfer en el kernel (normalmente de 64 KB). Cuando el búfer está lleno, el escritor se bloquea; cuando está vacío, se bloquea el lector. Normalmente esto es lo que se desea, pero en algunos casos el bloqueo provoca un interbloqueo.

Riesgo de interbloqueo: si el proceso A escribe en FIFO1 y lee de FIFO2, mientras el proceso B escribe en FIFO2 y lee de FIFO1, ambos pueden bloquearse esperando que el otro consuma primero.

Soluciones:

• Ejecute al menos uno de los lados en segundo plano (&) para que no bloquee el shell.
• Use mbuffer o pv para añadir un búfer en memoria más grande entre las etapas.
• Use pv -q -B 128m para insertar un búfer de 128 MB que suavice los picos de rendimiento.

Este es un patrón completo y realista: seguir varios archivos de registro, combinar los flujos mediante una tubería con nombre, filtrar los errores y escribir un resumen en tiempo real, todo sin archivos intermedios y con todas las etapas ejecutándose en paralelo.

Este tipo de canalización se ejecutaría como un script de supervisión en segundo plano en un servidor de producción.

Puede medir con time la diferencia real de rendimiento entre el enfoque de transmisión y el de archivos temporales. El enfoque de canalización es mejor con conjuntos de datos grandes porque:

• Las etapas se ejecutan simultáneamente: la CPU y la E/S se solapan.
• No hay E/S de disco para los datos intermedios; solo la salida final se escribe en el disco.
• El consumo de memoria permanece constante independientemente del tamaño de la entrada (se transmite, no se almacena en un búfer).

Una prueba sencilla para comparar ambos enfoques:

Considere el siguiente script:

mkfifo /tmp/mypipe
echo 'hello' > /tmp/mypipe
echo 'done'

¿Qué sucede cuando se ejecuta este script sin procesos en segundo plano ni lectores?

En esta lección ha explorado cómo mover datos de forma eficiente entre procesos sin archivos intermedios:

• Tuberías anónimas (|) conectan comandos adyacentes y ejecutan todas las etapas simultáneamente con control automático de la presión de retorno.
• Tuberías con nombre (mkfifo) crean una entrada FIFO en el sistema de archivos que permite que procesos no relacionados o en segundo plano intercambien datos en streaming; las escrituras se bloquean hasta que haya un lector.
• Sustitución de procesos (<(cmd), >(cmd)) permite que los comandos que esperan nombres de archivo consuman o produzcan streams de forma transparente.
• tee + >() distribuye un stream entre varios consumidores simultáneos sin volver a leer el origen.
• Fan-in combina varios productores en un solo consumidor mediante una FIFO compartida.
• La presión de retorno y el bloqueo son características, no errores; pero ejecute siempre al menos un extremo de un par FIFO en segundo plano para evitar un interbloqueo.
• Use pv o mbuffer para añadir búferes más grandes y supervisar el rendimiento cuando las etapas generen ráfagas.

Estas técnicas son la base de la ingeniería de datos de alto rendimiento con Bash: permiten procesar datos a escala de GB con memoria constante y el máximo paralelismo de CPU/E/S.