Condizioni di gara sulla GPU

Sulla GPU, migliaia di thread possono accedere contemporaneamente alla stessa memoria. Quando diversi thread scrivono insieme nello stesso punto, si verifica una condizione di competizione. 🏁

Una condizione di competizione si verifica quando il risultato finale dipende dall'ordine imprevedibile in cui vengono eseguiti i thread. Stesso codice, risultato diverso a ogni lancio.

Incrementare un contatore consiste in realtà in tre passaggi: leggere il valore, aggiungere uno e riscriverlo. È in questa sequenza di lettura-modifica-scrittura che si verificano i problemi.

Due thread leggono entrambi 5, calcolano entrambi 6 e scrivono entrambi 6. Vi aspettavate 7, ma ottenete 6. Un incremento è scomparso senza lasciare traccia.

Quell'incremento scomparso si chiama aggiornamento perso. Con migliaia di thread in competizione, decine o centinaia di aggiornamenti possono scomparire contemporaneamente.

Questo kernel sembra corretto, ma ogni thread è in competizione sullo stesso indirizzo. Il conteggio finale sarà errato e varierà tra un'esecuzione e l'altra.

L'hardware non garantisce mai un ordine di esecuzione dei thread. Perciò un kernel soggetto a race è non deterministico: può persino funzionare con input piccoli e fallire con quelli grandi.

È perfettamente sicuro che molti thread leggano lo stesso valore. I problemi iniziano solo quando almeno un thread scrive mentre gli altri leggono o scrivono.

Se ogni thread scrive nella propria posizione univoca, come out[i], non c'è alcun conflitto. Perché si verifichi una race, i thread devono puntare alla stessa posizione.

La soluzione consiste nel fare in modo che la lettura-modifica-scrittura avvenga come un unico passaggio indivisibile. Si tratta di un'operazione atomica, che vedrete nella prossima lezione. ⚛️

Quando revisionate un kernel, chiedetevi: due thread scrivono allo stesso indirizzo senza protezione? In caso affermativo, quasi certamente avete una race sui dati.

Avete imparato che una lettura-modifica-scrittura non protetta su dati condivisi causa condizioni di competizione e aggiornamenti persi. Le operazioni atomiche, che vedrete tra poco, rendono questi passaggi indivisibili. ✅