Anatomia di un kernel di calcolo

Un kernel di calcolo è una routine piccola e mirata che esegue il vero lavoro numerico, ad esempio sommare due array elemento per elemento.

La maggior parte del tempo di un kernel viene trascorsa in un unico ciclo interno essenziale. Accelerando quel ciclo, si accelera l'intero programma.

Un kernel ben strutturato riceve i buffer di dati come parametri, così la stessa routine può essere eseguita su qualsiasi array passato.

I kernel vengono scritti con fn, non con def. Lo stile rigido e tipizzato permette a Mojo di compilare codice macchina essenziale e prevedibile.

I kernel più veloci fanno una sola cosa. Un corpo interno breve e prevedibile è facile da ottimizzare in modo aggressivo per il compilatore.

Eviti lavori pesanti, come allocazioni o I/O, nel ciclo intensivo. Ogni iterazione dovrebbe essere economica e uniforme per ottenere il massimo throughput.

Ragioni in termini di operazioni totali. Un kernel su n elementi esegue all'incirca n unità di lavoro, quindi n determina il costo.

Molti kernel non sono limitati dal calcolo, ma dalla memoria. Restano in attesa dei dati, quindi spesso il modo in cui si spostano i byte è l'aspetto più importante.

Progetti il ciclo in modo che in seguito ogni passaggio possa elaborare molti elementi con SIMD. Uno schema di accesso regolare rende facile la vettorizzazione.

Un kernel classico è saxpy: out = scale per a più b. È piccolo e regolare, nonché un ottimo baseline da ottimizzare.

Inizi dalla versione semplice e corretta e ne misuri il tempo. Quel numero è il suo baseline per ogni ottimizzazione successiva.

Un kernel è una piccola fn il cui ciclo interno essenziale esegue il lavoro; lo mantenga uniforme, presti attenzione alla memoria e misuri prima un baseline. 🔧