Pipelines de transmissão e pipes nomeados para maior vazão

Ao encadear comandos como sort file.txt > tmp.txt && uniq tmp.txt > result.txt, você paga um custo oculto: gravações e leituras no disco, além de o fluxo de processamento ficar parado até que a primeira etapa seja concluída por completo antes de a próxima começar.

Os fluxos de processamento contínuos eliminam esse custo. Os dados passam diretamente do produtor para o consumidor na memória, etapa por etapa e de forma simultânea. Essa é a ideia central por trás dos pipes do Unix — e os pipes nomeados (FIFOs) ampliam esse conceito.

• Pipe anônimo (|): conecta dois comandos adjacentes na mesma linha do shell.
• Pipe nomeado (FIFO): um arquivo especial no sistema de arquivos que permite que processos não relacionados transmitam dados entre si.
• Substituição de processo: permite que um comando trate a saída de outro comando como se fosse um arquivo.

Esta lição mostra como aplicar os três recursos para maximizar a vazão em fluxos de trabalho reais do Bash.

Um pipe anônimo conecta a saída padrão de um processo à entrada padrão do processo seguinte. O kernel mantém os dois processos em execução simultaneamente em um buffer de memória de tamanho fixo (normalmente 64 KB no Linux).

A ideia principal é: o fluxo de processamento é tão rápido quanto sua etapa mais lenta. Se o produtor for mais rápido, ele ficará bloqueado quando o buffer estiver cheio. Se o consumidor for mais rápido, ficará bloqueado quando o buffer estiver vazio. Esse controle de fluxo por contrapressão é automático e não tem custo adicional.

O exemplo abaixo conta endereços IP exclusivos em um grande registro de acessos sem jamais gravar um arquivo temporário. Cada etapa é executada simultaneamente:

Um pipe nomeado (FIFO — First In, First Out) é criado com mkfifo. Ele aparece no sistema de arquivos como um arquivo comum, mas os dados gravados nele nunca são armazenados no disco — fluem diretamente para o processo que os lê.

Comportamentos importantes a lembrar:

• Uma gravação em um FIFO fica bloqueada até que um leitor o abra, e vice-versa.
• A entrada do FIFO permanece no sistema de arquivos; você precisa excluí-la com rm quando terminar.
• Vários escritores são permitidos, mas a ordem entre eles não é garantida.

Abaixo: um produtor compacta dados em um FIFO enquanto um consumidor os envia para o S3 simultaneamente — sem necessidade de arquivo temporário.

A substituição de processo usa a sintaxe <(command) ou >(command). O Bash cria um FIFO (ou um descritor de arquivo /dev/fd/N) nos bastidores e passa o caminho para o comando externo.

Isso é útil quando uma ferramenta espera um argumento de nome de arquivo em vez da entrada padrão. Sem a substituição de processo, seria necessário um arquivo temporário; com ela, os dados são transmitidos diretamente.

• <(cmd) — o comando externo lê a saída de cmd.
• >(cmd) — o comando externo grava na entrada de cmd.

tee lê a entrada padrão e a grava tanto na saída padrão quanto em um ou mais arquivos. Combinado com a substituição de processo, ele permite ramificar um único fluxo para vários fluxos de processamento simultaneamente — tudo isso sem acessar o disco.

Esse padrão é útil quando, por exemplo, você quer registrar dados brutos e processá-los ao mesmo tempo.

Quando uma única fonte de dados precisa alimentar vários consumidores independentes, combine tee com várias substituições de processo >(). Cada consumidor recebe o fluxo completo e é executado simultaneamente.

Isso evita ler o arquivo de origem várias vezes. Para um arquivo de 10 GB, a diferença é enorme — uma leitura do disco em vez de N leituras.

O oposto da ramificação é a agregação: várias fontes independentes transmitindo dados para um único consumidor. Os FIFOs nomeados tornam isso simples.

Um caso de uso comum é mesclar em tempo real fluxos de registro de vários servidores ou agregar resultados parciais de trabalhadores paralelos.

Observe que, com vários escritores, o consumidor verá uma saída intercalada — isso é adequado para dados orientados por linhas, nos quais cada linha é independente, mas você deverá gerenciar a ordenação por conta própria se a sequência for importante.

Um dos usos mais práticos dos FIFOs é a compactação paralela. Ferramentas como pigz (gzip paralelo) ou pbzip2 leem um fluxo; você pode encaminhar os dados brutos diretamente, sem preparar um arquivo não compactado.

O padrão abaixo arquiva um diretório, compacta-o usando todos os núcleos da CPU e transmite o resultado para um host remoto — tudo simultaneamente:

Os pipes têm um buffer do kernel (geralmente de 64 KB). Quando o buffer está cheio, o escritor fica bloqueado; quando está vazio, o leitor fica bloqueado. Normalmente, esse é o comportamento desejado, mas, em alguns casos, o bloqueio causa um deadlock.

Risco de deadlock: se o processo A grava no FIFO1 e lê do FIFO2, enquanto o processo B grava no FIFO2 e lê do FIFO1, ambos podem ficar bloqueados esperando que o outro consuma os dados primeiro.

Soluções:

• Coloque pelo menos um lado em segundo plano (&) para que ele não bloqueie o shell.
• Use mbuffer ou pv para adicionar um buffer maior na memória entre as etapas.
• Use pv -q -B 128m para inserir um buffer de 128 MB, suavizando picos de vazão.

Veja um padrão completo e realista: acompanhe vários arquivos de registro, mescle os fluxos por meio de um pipe nomeado, filtre os erros e grave um resumo em tempo real — tudo sem arquivos intermediários e com todas as etapas sendo executadas em paralelo.

Esse é o tipo de fluxo de processamento que seria executado como um script de monitoramento em segundo plano em um servidor de produção.

Você pode medir a diferença real de vazão entre as abordagens de transmissão contínua e de arquivos temporários usando time. A abordagem com fluxo de processamento vence em grandes conjuntos de dados porque:

• As etapas são executadas simultaneamente — CPU e entrada e saída se sobrepõem.
• Não há entrada e saída de disco para dados intermediários — somente a saída final é gravada no disco.
• O uso de memória permanece constante, independentemente do tamanho da entrada (transmissão, não armazenamento em buffer).

Um teste simples para comparar as duas abordagens:

Considere o seguinte script:

mkfifo /tmp/mypipe
echo 'hello' > /tmp/mypipe
echo 'done'

O que acontece quando esse script é executado sem processos em segundo plano nem leitores?

Nesta lição, explorou como mover dados de forma eficiente entre processos sem arquivos intermediários:

• Pipes anônimos (|) conectam comandos adjacentes e executam todas as etapas simultaneamente, com controle automático de fluxo.
• Pipes nomeados (mkfifo) criam uma entrada FIFO no sistema de arquivos que permite a processos não relacionados ou em segundo plano transmitir dados entre si — as gravações ficam bloqueadas até que haja um leitor.
• Substituição de processos (<(cmd), >(cmd)) permite que comandos que esperam nomes de arquivos consumam ou produzam fluxos de forma transparente.
• tee + >() distribui um fluxo para vários consumidores simultâneos sem reler a origem.
• Fan-in combina vários produtores em um único consumidor por meio de um FIFO compartilhado.
• Controle de fluxo e bloqueio são recursos, não erros — mas sempre execute pelo menos um dos lados de um par FIFO em segundo plano para evitar um deadlock.
• Use pv ou mbuffer para adicionar buffers maiores e monitorar a vazão quando as etapas produzirem dados em rajadas.

Essas técnicas são a base da engenharia de dados de alto desempenho em Bash: processe dados em escala de GB com memória constante e máximo paralelismo de CPU/IO.