Gradyanlar Yukarıyı Gösterir; Siz Ters Yöne İlerleyin

Yokuş aşağı yürümek için önce aşağı yönün hangisi olduğunu bilmeniz gerekir. Gradyan, bulunduğunuz noktadaki loss eğimini gösteren araçtır.

Şaşırtıcı nokta şudur: gradyan, loss değerinin en hızlı arttığı yönü gösterir. Size aşağıyı değil, yukarı çıkmanın en dik yolunu gösterir.

Gradyan yukarıyı hedeflediğinden aşağı inmek için ters yönde ilerlersiniz. Gradyanı çıkarmak sizi daha düşük bir loss değerine götürür.

Bu tek satır, eğitimin özüdür. Gradyanı küçük bir adım büyüklüğüyle ölçeklendirip her ağırlıktan çıkarırsınız. Bunu tekrarladığınızda loss düşer.

Birçok ağırlık olduğunda gradyan bir vektörün tamamıdır: her ağırlık için bir eğim bulunur. Her ağırlık, bu vektörün kendisine ait parçasıyla biraz hareket ettirilir.

Büyük bir gradyan değeri, loss değerinin o yönde çok dik olduğu anlamına gelir; dolayısıyla o ağırlığın daha büyük bir düzeltmeye ihtiyacı vardır. Küçük değerler, orada neredeyse düz olduğunuzu gösterir.

Bir vadinin tam tabanında eğim düzleşir ve gradyan sıfır olur. Çıkarılacak hiçbir şey kalmadığından ağırlıklar hareket etmeyi bırakır. Yakınsamış olursunuz.

Tabana tek sıçrayışta neredeyse hiç ulaşamazsınız. Her adım işleri yalnızca biraz iyileştirir; bu nedenle iniş, uzun bir dizi küçük yokuş aşağı hareketten oluşur.

Her zaman negatif gradyan boyunca ilerleyerek çizdiğiniz yol, en dik iniş rotasıdır. Bu, daha düşük bir losse doğru açgözlü kısa yoldur.

Çıkarma, artış yönünün tersine hareket ettirir; bu nedenle adım yeterince küçükse loss düşmelidir. Bu basit işaret değişimi, eğimi ilerlemeye dönüştürür.

Bu eğimleri elle nadiren hesaplarsınız. PyTorch'un otomatik türev sistemi gradyanı sizin için bulur; ancak kural aynı kalır: aşağı inmek için onu çıkarın.

Gradyan, daha yüksek lossa doğru yokuş yukarıyı gösterir; bu nedenle aşağı adım atmak için onun ölçeklendirilmiş bir sürümünü çıkarırsınız. Bu güncellemeyi tekrarladığınızda model vadiye doğru ilerler. ⬇️