Kaybolan Gradyan Sorunu

Standart RNN'ler güçlü görünür, ancak uzun erimli bağlamı hatırlamakta zorlanır. Bunun nedeni kaybolan gradyan problemidir.

Ağlar, gradyan adı verilen hata sinyallerini zaman içinde geriye göndererek öğrenir; böylece her ağırlığı doğru yönde küçük adımlarla günceller.

Bir RNN'de bu geriye geçiş her adım boyunca açılır; dolayısıyla uzun bir cümle, çok uzun bir çarpım zinciri anlamına gelir.

Birden küçük birçok değeri birbiriyle çarptığınızda sonuç hızla sıfıra yaklaşır. Gradyan, ilk sözcüklere ulaşmadan çok önce silikleşir.

Sinyal kaybolduğu için ağ, ilk belirteçlerle ilişkili ağırlıkları neredeyse hiç güncellemez; böylece uzaktaki bağlam fiilen kaybolur.

0,5'i kendisiyle yirmi kez çarptığınızı düşünün. Değer neredeyse yok olur; derin adımlardaki gradyanlara da olan budur.

Değerler birden büyük olduğunda gradyanlar da patlayabilir; büyüyerek ağırlıklarda büyük sıçramalara yol açar ve eğitimi istikrarsızlaştırır.

Patlayan gradyanların kolay bir çözümü vardır: gradyan kırpma, boyutlarını sınırlar ve tek bir adımın modeli kontrolden çıkarmasını önler.

Kaybolan gradyanlar basit çözümlere direnç gösterir; bu nedenle standart RNN'ler unutmaya devam eder. Belleği birçok adım boyunca korumak için daha akıllı bir hücreye ihtiyacımız var.

Kapılar içeren LSTM ve GRU gibi özel mimariler, neyin korunup neyin unutulacağını denetleyerek uzun vadeli sinyalleri korur.

Bu sınırı anlamak, modern dizi modellerinin neden ortaya çıktığını açıklar: Bu modeller, gradyanları uzak adımlar boyunca canlı tutmak için tasarlanmıştır. 💡

Basit RNN'ler uzun dizilerdeki ilk sözcükleri neden unutur?

Uzun dizilerde basit RNN gradyanları yok olur ve uzaktaki bağlam silinir. LSTM ve GRU gibi kapılı hücreler, bundan sonra inceleyeceğimiz çözümdür. 🎯