Reduzindo o tráfego de memória

As CPUs modernas calculam muito mais rápido do que conseguem buscar dados. Muitas vezes, um kernel espera pela memória, não pelos cálculos.

O tráfego de memória é o total de bytes que seu kernel lê e grava. Menos tráfego por resultado geralmente significa um kernel mais rápido.

Ler o mesmo valor muitas vezes desperdiça largura de banda. Carregue-o uma vez, faça todo o trabalho e depois reutilize-o a partir de um registrador.

Dois loops separados sobre o mesmo vetor o leem duas vezes. Fundir os dois em uma única passagem faz com que cada elemento seja lido apenas uma vez.

Um valor mantido em um registrador da CPU não precisa acessar a memória. Reutilize resultados intermediários em vez de gravá-los e lê-los novamente.

Vetores temporários extras acrescentam tanto gravações quanto leituras. Evite-os quando puder e calcule diretamente na saída final.

Ler a memória em ordem permite que a CPU faça pré-busca. Saltar de um ponto para outro impede a pré-busca e faz o loop esperar.

A memória chega em linhas de cache de tamanho fixo. Usar cada byte de uma linha que foi buscada fornece dados já carregados sem custo adicional.

A intensidade aritmética é o trabalho realizado por byte carregado. Aumentá-la significa que cada valor buscado gera mais computação antes de o processamento prosseguir.

As gravações também consomem largura de banda. Acumule em uma variável local e escreva o resultado final uma vez, em vez de atualizar a memória repetidamente.

Quando o kernel espera pelos dados, reduzir leituras e gravações é o maior ganho, muitas vezes superando ajustes inteligentes na aritmética.

Reduza o tráfego de memória tocando nos dados uma vez, fundindo loops, reutilizando registradores, transmitindo em ordem e gravando os resultados apenas uma vez. 💾