Anatomia de um núcleo de computação

Um kernel de computação é a rotina pequena e focada que realiza o trabalho numérico de fato, como somar dois vetores elemento a elemento.

A maior parte do tempo de um kernel está em um único loop interno e enxuto. Acelere esse loop e acelerará o programa inteiro.

Um kernel bem estruturado recebe seus buffers de dados como parâmetros, para que a mesma rotina possa ser executada em quaisquer vetores que o senhor ou a senhora passar.

Os kernels são escritos com fn, não com def. O estilo rigoroso e tipado permite que o Mojo compile código de máquina enxuto e sem surpresas.

Os kernels mais rápidos fazem uma única coisa. Um corpo interno curto e previsível é fácil de otimizar agressivamente para o compilador.

Evite trabalhos pesados, como alocação ou entrada e saída, no loop crítico. Cada iteração deve ser barata e uniforme para obter a vazão máxima.

Pense em termos de operações totais. Um kernel sobre n elementos realiza aproximadamente n unidades de trabalho, portanto n determina o custo.

Muitos kernels não são limitados pela computação, mas pela memória. Eles esperam pelos dados, então a forma como o senhor ou a senhora move os bytes costuma ser o fator mais importante.

Projete o loop para que cada etapa possa processar posteriormente muitos elementos com SIMD. Um padrão regular de acesso facilita a vetorização.

Um kernel clássico é o saxpy: out = escala vezes a mais b. Ele é pequeno, regular e uma excelente referência para otimização.

Comece com a versão simples e correta e meça o tempo. Esse número é sua referência para cada otimização seguinte.

Um kernel é uma fn pequena cujo loop interno e enxuto realiza o trabalho; mantenha-o uniforme, considere a memória e meça primeiro uma referência. 🔧