Dividere il lavoro in blocchi

Avviare un thread per ogni elemento è inefficiente. Suddivida invece l'intervallo in pochi chunk più grandi, uno per worker.

Ogni chunk è semplicemente una porzione contigua di indici, ad esempio da 0 a 99 o da 100 a 199. Ogni worker gestisce una porzione.

Una scelta comune è usare un chunk per core. Può ottenere questo numero dalla macchina con num_physical_cores.

Divida la lunghezza totale per il numero di worker per ottenere quanti elementi ciascun worker dovrebbe gestire.

All'interno della funzione di lavoro, l'indice del chunk indica da dove iniziare. Lo moltiplichi per la dimensione del chunk.

L'ultimo chunk potrebbe oltrepassare i dati, quindi limiti la sua fine alla lunghezza totale con min per restare nei limiti.

Ogni worker esegue un normale ciclo solo sul proprio intervallo. All'interno del chunk è sufficiente del semplice codice ordinario.

Ora chiami parallelize con il numero di chunk, non con il numero di elementi. Ogni chiamata elabora un intero chunk.

Chunk della stessa dimensione mantengono tutti i core occupati allo stesso modo. Se un chunk è molto più grande, il relativo worker terminerà in ritardo.

Quando alcuni elementi costano più di altri, usare più chunk piccoli consente ai worker più veloci di prendere altro lavoro e restare occupati.

Il numero migliore di chunk dipende dai dati e dalla macchina. Provi alcune dimensioni e conservi quella preferita dal benchmark.

Suddivida l'intervallo in chunk bilanciati, limiti ogni estremità con min, esegua il ciclo all'interno di un chunk e chiami parallelize sul numero di chunk per distribuire equamente il carico. 🚀