Registros, campos e separadores personalizados no awk

awk lê a entrada linha por linha. Cada linha é chamada de registro, e cada trecho separado por espaços em branco dentro dessa linha é chamado de campo.

• $0 — o registro atual inteiro (a linha completa)
• $1 — o primeiro campo
• $2 — o segundo campo
• $NF — o último campo (NF = número de campos)

Por padrão, awk separa os campos em qualquer sequência de espaços em branco (espaços ou tabulações). Isso o torna imediatamente útil para analisar registros, a saída de comandos e dados delimitados por espaços.

A variável integrada FS (separador de campos) informa ao awk como dividir cada registro em campos. Seu valor padrão é um único espaço, o que ativa o modo de divisão por espaços em branco.

É possível definir FS de duas formas:

• Com a opção -F na linha de comando: awk -F':'
• Dentro de um bloco BEGIN: BEGIN { FS = ":" }

As duas formas são equivalentes. A abordagem com o bloco BEGIN é preferível em scripts mais longos, pois mantém a configuração dentro do próprio script, tornando-o mais legível e portável.

Para scripts mais longos que uma única linha, colocar FS dentro de um bloco BEGIN é a prática padrão. O bloco BEGIN é executado antes de o awk ler qualquer entrada, portanto o separador está pronto para o primeiro registro.

Esse padrão também permite definir várias variáveis de uma vez, adicionar comentários e manter sua lógica autocontida em um arquivo de script.

Separadores comuns que encontrará na prática:

• Dois-pontos : — /etc/passwd, /etc/shadow
• Tabulação \t — exportações TSV, saída de compiladores
• Vírgula , — arquivos CSV (simples, sem campos entre aspas)
• Barra vertical | — alguns formatos de registros, despejos de bancos de dados

CSV (valores separados por vírgulas) é um dos formatos de dados mais comuns na engenharia de shell. Definir FS="," faz o awk tratar as vírgulas como delimitadores.

Advertência importante: o tratamento integrado de CSV do awk não considera campos entre aspas que contenham vírgulas (por exemplo, "Smith, John"). Para CSVs simples, sem vírgulas entre aspas, isso funciona perfeitamente. Para CSVs compatíveis com a RFC 4180 e com campos entre aspas, use um analisador de CSV apropriado ou miller/csvkit.

Uma tarefa comum no mundo real é extrair colunas específicas e filtrar linhas por valor — ambas são triviais com awk depois que FS é definido.

O FS do awk não se limita a um único caractere — ele pode ser uma expressão regular. Isso é útil para formatos reais de registros nos quais os campos são separados por delimitadores de comprimento variável.

Exemplos de separadores com expressões regulares:

• FS = "[,;]" — divide pela vírgula ou pelo ponto e vírgula
• FS = "[ \t]+" — divide por um ou mais espaços ou tabulações (igual ao padrão, mas de forma explícita)
• FS = "::" — divide por dois-pontos duplos literais
• FS = "\\|" — divide pelo caractere de barra vertical (é necessário escapar o caractere)

Quando FS é uma expressão regular, o awk (gawk) a trata como um padrão, não como uma cadeia de caracteres literal.

OFS (separador de campos de saída) controla o que o awk coloca entre os campos quando reconstrói um registro com print. Seu padrão é um único espaço.

A ideia principal: OFS só é inserido entre campos quando se usa a sintaxe com vírgula em print ou quando se atribui um valor a um campo e o awk reconstrói $0. Se concatenar usando espaços no código-fonte, OFS não será usado.

• print $1, $2, $3 — as vírgulas acionam OFS entre os campos
• print $1 " " $2 — espaço explícito; OFS é ignorado

Um padrão comum: ler CSV, transformar e gravar TSV definindo FS="," e OFS="\t".

Há um truque sutil, mas importante: atribuir um valor a qualquer campo (até atribuir um campo a si mesmo, $1=$1) força o awk a reconstruir $0, juntando todos os campos com OFS.

Esta é a forma idiomática de reformar os delimitadores de um registro sem imprimir manualmente todos os campos:

• Defina FS como o delimitador de entrada
• Defina OFS como o delimitador de saída desejado
• Acione a reconstrução com $1=$1
• Imprima $0

Essa abordagem funciona com qualquer quantidade de campos e evita codificar diretamente $1, $2, $3, ....

Assim como FS divide os campos dentro de um registro, RS (separador de registros) define o que separa os registros uns dos outros. Por padrão, RS é um newline, portanto o awk processa uma linha por vez.

Alterar RS permite realizar um processamento poderoso de registros com várias linhas:

• RS="" — modo de parágrafos: linhas em branco separam os registros (os campos podem ocupar várias linhas)
• RS=";" — dividir nos pontos e vírgulas (útil para despejos de SQL)
• RS="\n" — newline explícito (o padrão)

No modo de parágrafos (RS=""), FS continua sendo usado para dividir os campos dentro do registro com várias linhas, e os newline dentro de um registro também são tratados automaticamente como separadores de campos.

ORS (separador de registros de saída) é impresso após cada instrução print. Por padrão, ele é um newline (\n), e é por isso que cada print vai para uma nova linha.

Alterar ORS permite:

• Unir registros em uma única linha: ORS=" "
• Adicionar linhas em branco entre os registros de saída: ORS="\n\n"
• Criar formatos de saída personalizados, como fragmentos de JSON ou XML

Observe que printf não usa ORS — ele se aplica somente à instrução print simples. Use printf quando precisar de controle total sobre a formatação.

Os registros de acesso do Apache/nginx têm um formato conhecido, com campos delimitados por espaços. Alguns campos (como o carimbo de data e hora) contêm espaços e são colocados entre colchetes ou aspas, o que dificulta a divisão direta em campos pelo awk.

Uma abordagem prática é usar um FS de expressão regular que leve a estrutura em consideração ou extrair campos específicos por posição, conhecendo o formato exato.

Os campos do formato de registro combinado são, aproximadamente:

1. IP do cliente
2. Identificação (geralmente -)
3. Usuário autenticado (geralmente -)
4. Carimbo de data e hora (entre colchetes, conta como um único token)
5. Método+caminho+protocolo da solicitação (entre aspas)
6. Código de status HTTP
7. Bytes da resposta

Na engenharia real de shell, raramente se usam esses separadores isoladamente. Um padrão comum de pipeline é usar o awk como um conversor de formatos no meio de um pipeline, transformando um formato estruturado em outro.

Principais pontos sobre a combinação de separadores:

• Defina sempre FS e OFS juntos em BEGIN ao converter formatos
• Use $1=$1 para disparar a reconstrução de $0 quando quiser reformular todos os campos sem listá-los
• Altere RS somente quando seus registros realmente ocuparem várias linhas
• Use ORS para controlar o espaçamento entre os registros de saída
• Prefira printf para uma formatação precisa; use print quando a terminação automática de ORS for conveniente

Teste sua compreensão de como OFS interage com a atribuição de campos no awk.

Agora você tem controle total sobre como o awk lê e grava dados estruturados. Veja um resumo das quatro variáveis de separadores:

• FS — separador de campos de entrada. Definido com -F ou em BEGIN. Pode ser um caractere, uma string ou uma expressão regular. Padrão: espaços em branco.
• OFS — separador de campos de saída. Inserido entre os campos nas chamadas print $1, $2 e quando o awk reconstrói $0 após uma atribuição de campo. Padrão: um único espaço.
• RS — separador de registros de entrada. Define o que separa os registros (linhas). Padrão: newline. Defina-o como uma string vazia para usar o modo de parágrafos.
• ORS — separador de registros de saída. Adicionado ao final de cada print. Padrão: newline. Altere-o para unir linhas ou adicionar espaçamento.

O padrão mais importante a memorizar é: defina FS e OFS em BEGIN e use $1=$1 para reconstruir $0 sempre que quiser reformular os delimitadores em todos os campos sem codificar posições de campos explicitamente. Esse padrão funciona com arquivos que tenham qualquer número de colunas e é a base dos pipelines de conversão de formatos com awk.