Kondisi Balapan pada GPU

Di GPU, ribuan thread dapat mengakses memori yang sama secara bersamaan. Ketika beberapa thread menulis ke satu lokasi secara bersamaan, terjadi kondisi balapan. 🏁

Kondisi balapan terjadi ketika hasil akhir bergantung pada urutan eksekusi thread yang tidak dapat diprediksi. Kodenya sama, tetapi hasilnya berbeda pada setiap peluncuran.

Menambah penghitung sebenarnya terdiri dari tiga langkah: membaca nilai, menambahkan satu, lalu menulisnya kembali. Urutan baca-ubah-tulis inilah yang menimbulkan masalah.

Dua thread sama-sama membaca 5, sama-sama menghitung 6, lalu sama-sama menulis 6. Anda mengharapkan 7, tetapi mendapatkan 6. Satu penambahan hilang tanpa disadari.

Penambahan yang hilang itu disebut pembaruan yang hilang. Dengan ribuan thread yang berlomba, puluhan atau ratusan pembaruan dapat hilang sekaligus.

Kernel ini tampak benar, tetapi setiap thread berlomba mengakses alamat yang sama. Jumlah akhir akan salah dan bervariasi pada setiap eksekusi.

Perangkat keras tidak pernah menjamin urutan thread. Karena itu, kernel yang mengalami kondisi balapan bersifat tidak deterministik: kernel bahkan dapat berhasil pada input kecil dan gagal pada input besar.

Banyak thread yang membaca nilai yang sama tidak menjadi masalah. Masalah baru muncul ketika setidaknya satu thread menulis sementara thread lain membaca atau menulis.

Jika setiap thread menulis ke slot unik miliknya sendiri, seperti out[i], tidak ada konflik. Kondisi balapan memerlukan thread yang mengarah ke lokasi yang sama.

Solusinya adalah membuat operasi baca-ubah-tulis berlangsung sebagai satu langkah yang tidak dapat dipisahkan. Itulah operasi atomik, yang akan dibahas pada pelajaran berikutnya. ⚛️

Saat meninjau kernel, tanyakan: apakah dua thread menulis ke alamat yang sama tanpa perlindungan? Jika ya, hampir pasti terdapat kondisi balapan data.

Anda telah mempelajari bahwa operasi baca-ubah-tulis pada data bersama tanpa perlindungan menyebabkan kondisi balapan dan pembaruan yang hilang. Operasi atomik yang akan dibahas berikutnya membuat langkah-langkah tersebut tidak dapat dipisahkan. ✅