Condições de corrida na GPU

Na GPU, milhares de linhas de execução podem acessar a mesma memória ao mesmo tempo. Quando várias escrevem juntas em um único local, ocorre uma condição de corrida. 🏁

Uma condição de corrida ocorre quando o resultado final depende da ordem imprevisível em que as linhas de execução são executadas. O mesmo código, uma resposta diferente a cada inicialização.

Incrementar um contador são, na verdade, três etapas: ler o valor, adicionar um e escrevê-lo de volta. É nessa sequência de leitura-modificação-escrita que os problemas aparecem.

Duas linhas de execução leem 5, calculam 6 e escrevem 6. Você esperava 7, mas obteve 6. Um incremento desapareceu silenciosamente.

Esse incremento desaparecido é chamado de atualização perdida. Com milhares de linhas de execução em disputa, dezenas ou centenas de atualizações podem desaparecer de uma vez.

Este núcleo parece correto, mas todas as linhas de execução competem pelo mesmo endereço. A contagem final estará errada e variará entre as execuções.

O hardware nunca promete uma ordem para as linhas de execução. Portanto, um núcleo com condição de corrida é não determinístico: pode até passar com entradas pequenas e falhar com entradas grandes.

Muitas linhas de execução lendo o mesmo valor não causam problema algum. O problema começa apenas quando pelo menos uma linha escreve enquanto outras leem ou escrevem.

Se cada linha de execução escrever em sua própria posição exclusiva, como out[i], não haverá conflito. Uma corrida exige que as linhas de execução apontem para o mesmo local.

A solução é fazer com que a leitura-modificação-escrita aconteça como uma única etapa indivisível. Isso é uma operação atômica, que será apresentada na próxima lição. ⚛️

Ao revisar um núcleo, pergunte: duas linhas de execução escrevem no mesmo endereço sem proteção? Se sim, quase certamente há uma corrida de dados.

Você aprendeu que a leitura-modificação-escrita sem proteção em dados compartilhados causa condições de corrida e atualizações perdidas. As operações atômicas, apresentadas a seguir, tornam essas etapas indivisíveis. ✅