Kemas Urutan dan Tangani Padding

Untuk memproses banyak urutan sekaligus, sebuah batch harus berbentuk persegi panjang yang rapi. Namun, kalimat nyata memiliki panjang yang berbeda-beda sehingga tidak sejajar.

Solusinya adalah padding: tambahkan token pengisi, biasanya zeros, ke urutan yang pendek agar setiap baris dalam batch memiliki panjang yang sama.

pad_sequence milik PyTorch menumpuk daftar tensor dengan panjang yang berbeda-beda menjadi satu batch dengan padding melalui satu pemanggilan.

Token pengisi tersebut palsu. Jika RNN tetap memprosesnya, komputasi terbuang dan padding dapat mengotori keadaan tersembunyi.

Sebelum melakukan padding, catat panjang sebenarnya dari setiap urutan. Anda akan memberikan panjang ini kepada PyTorch agar mengetahui di mana data sebenarnya berakhir.

pack_padded_sequence mengubah batch yang telah diberi padding beserta panjangnya menjadi bentuk ringkas yang dapat dijalankan RNN tanpa menyentuh padding.

Berikan objek yang telah dikemas langsung ke nn.LSTM atau nn.GRU. Sel akan melewati langkah yang berisi padding, sehingga memori tetap bersih dan jelas.

Untuk membaca kembali output pada setiap langkah, panggil pad_packed_sequence guna mengembalikan bentuk persegi panjang dengan padding setelah RNN selesai.

Pengemasan klasik mengharuskan urutan diurutkan dari yang paling panjang terlebih dahulu. Atur enforce_sorted ke False dan PyTorch akan menangani batch yang tidak terurut untuk Anda.

Bahkan dengan pengemasan, abaikan posisi yang berisi padding saat melakukan penilaian. Mask atau ignore_index mencegah token palsu masuk ke dalam loss.

Lakukan padding di dalam collate_fn khusus agar setiap batch tiba dalam keadaan sudah diberi padding, dengan panjang yang siap digunakan untuk pengemasan.

Beri padding agar batch sejajar, catat panjang sebenarnya, lalu kemas agar RNN mengabaikan pengisi. Samarkan juga token berpading dalam loss. ✅