Diziler Neden Belleğe İhtiyaç Duyar

Bir dizide sıra bilgidir. 'dog bites man' ve 'man bites dog' ifadeleri aynı belirteçleri kullanır, ancak anlamları birbirinin tersidir. 🐶

Metin, ses, hisse senedi fiyatları ve sensör okumalarının tümü dizilerdir: her adımın çevresindeki adımlarla ilişkili olduğu sıralı listeler.

Standart bir ileri beslemeli ağ, her seferinde sabit boyutlu tek bir girdi görür. Öncesinde ne olduğunu bilemez; bu nedenle geçmişi anında unutur.

Cümlelerin uzunlukları farklıdır. Sabit girdiler kullanan bir ağ, 3 kelimelik bir ifadeyle 30 kelimelik bir ifadeyi aynı ağırlıklarla kolayca işleyemez.

Gördüklerini sürekli olarak belleğinde tutan ve dizideki her adımda bu belleği güncelleyen bir modele ihtiyacımız var.

Bu belleğe gizli durum denir: modelin yanında taşıdığı ve önceki adımlardaki önemli bilgileri özetleyen bir vektördür.

Özyinelemeli bir model diziyi adım adım okur; yeni girdiyi mevcut belleğiyle birleştirerek güncellenmiş bir bellek üretir.

Aynı ağırlık kümesi her zaman adımında yeniden kullanılır. Bu, modeli küçük tutar ve her uzunluktaki dizileri işlemesini sağlar.

Bellek, tahminleri bağlamın şekillendirmesini sağlar. “the clouds are in the ___” ifadesini tamamlamak için model, daha önce geçen “clouds” kelimesinden yararlanır.

Bazı ipuçları hemen yanındadır; diğerleri dizinin çok daha gerisinde bulunur. İyi bir bellek, hem kısa hem de uzun erimli bağımlılıkları yakalamalıdır.

Döngüsel bir gizli durum etrafında oluşturulan modellere özyinelemeli ağlar denir. Bunlar, sıralı verilerden öğrenmenin klasik çözümüdür.

Diziler anlamı sıralarıyla taşır, ancak basit ağlar geçmişi unutur. Çözüm, belleğini adım adım güncelleyen bir model kullanmaktır. ✅