Öğrenme Oranı: Çok Büyük, Çok Küçük, Tam Kararında

Gradyan hangi yöne gideceğinizi söyler, ama ne kadar uzağa? Öğrenme oranı, her yokuş aşağı adımın ne kadar büyük olacağını belirleyen çarpandır.

Öğrenme oranı, eğitimde çoğu zaman en önemli tek ayardır. Yanlış seçerseniz kusursuz bir model bile öğrenemez.

Küçük bir öğrenme oranı parmak ucuyla atılan adımlar gibi ilerler. Loss düşer; ancak eğitim ya çok uzun sürer ya da vadiye ulaşmadan durur. 🐢

Büyük bir öğrenme oranı, vadinin üzerinden atlayıp karşı tarafın daha yüksek bir yerine düşecek kadar büyük sıçramalara neden olur. Loss değeri etrafta zıplar veya sonsuza doğru kaçar.

Loss birkaç adımdan sonra yükselir veya NaN değerine dönüşürse öğrenme oranınız neredeyse kesinlikle çok büyüktür. Bu, onu azaltmanız gerektiğini gösteren en açık işarettir.

İyi bir öğrenme oranı, loss değerinin sert dalgalanmalar olmadan düzenli ve hızlı biçimde düşmesini sağlar. Eğri aşağı doğru süzülür ve tabana yaklaştıkça yataylaşır.

İnsanlar nadiren körlemesine tahminde bulunur. Yaygın bir başlangıç öğrenme oranı yaklaşık 0,001 ile 0,01 arasındadır; ardından loss eğrisinin davranışına göre ayarlama yaparsınız.

Loss değerini zamana göre çizmek en iyi rehberinizdir. Iraksayan bir eğri, daha küçük bir değer seçmeniz gerektiğini; düz ve neredeyse hareket etmeyen bir eğri ise biraz daha büyük bir değer kullanabileceğinizi gösterir.

Doğru öğrenme oranı, toplu işlem boyutu ve eniyileyici gibi diğer seçimlere bağlıdır. Bunlardan birini değiştirirseniz oranı yeniden ayarlamanız gerekebilir.

Eğitim ilerledikçe öğrenme oranını küçültebilirsiniz: başta büyük adımlar atın, sonra temiz bir bitiriş için tabana yakınken küçük ve dikkatli adımlar atın.

Evrensel olarak en iyi bir değer yoktur; bu nedenle birkaç öğrenme oranını denemek ve eğrileri karşılaştırmak model eğitiminin normal ve beklenen bir parçasıdır.

Öğrenme oranı adım büyüklüğünü belirler: çok küçük değer süründürür, çok büyük değer hedefi aşarak ıraksamaya neden olur, tam kararındaki değer ise düzgünce aşağı süzülür. Kayıp eğrisini izleyip ayarlama yapın. 🎯