Momentumlu SGD

Saf SGD yalnızca mevcut gradyanı kullanarak adım atar. Her güncelleme sıfırdan başladığı için gürültülü bir eğim, minimuma doğru ilerlerken yöntemin yalpalamasına ve sürünmesine neden olur.

Momentum, SGD'ye hafıza kazandırır. Geçmiş gradyanların hareketli ortalamasını tutar ve yokuş aşağı hızlanan bir top gibi o yönde ilerler.

Momentum, eski hız ile yeni gradyanı birleştiren bir hızı izler. Ağırlıklar her adımda bu yumuşatılmış hız kadar hareket eder.

Momentum katsayısı beta, geçmiş adımların ne kadar dikkate alınacağını belirler. Yaygın bir değer olan 0,9, hızın büyük bölümünün devredildiği anlamına gelir.

Momentum birçok gradyanın ortalamasını aldığı için tek bir batch'teki rastgele gürültü büyük ölçüde birbirini götürür. Minimuma giden yol daha yumuşak ve kararlı hâle gelir.

Birikmiş hız, düz SGD'yi duraklatacak küçük çukurlardan ve düz bölgelerden optimizasyoncunun süzülerek geçmesini sağlar. Top her çakıl taşında durmaz.

Bunu elle kodlamanız gerekmez. Yerleşik SGD optimizasyoncusuna yalnızca momentum verin; PyTorch hızı sizin için izler.

Daha gelişmiş bir seçenek olan Nesterov momentumu, gradyanı ölçmeden önce hızın nereye gittiğine bakar. Çoğu zaman biraz daha hızlı yakınsar.

Fazla hız, vadi tabanını aşmanıza neden olabilir. Kayıp dalgalanır veya ıraksarsa öğrenme oranını düşürün ya da momentumu biraz azaltın.

Gelişmiş optimizasyoncular kullanılmasına rağmen momentumlu SGD hâlâ güçlü bir temel yöntemdir ve görüntü modellerinde çoğu zaman çok iyi genelleme yapar.

Kazanım gerçektir: Momentum, düz SGD'ye kıyasla genellikle iyi bir minimuma daha az dönem içinde ulaşır ve yol boyunca daha az zikzak çizer.

Momentum, geçmiş gradyanları birleştiren bir hız sağlayarak SGD'deki gürültüyü yumuşatır ve küçük tümsekleri aşar. Daha hızlı ve kararlı bir iniş için momentumu 0,9 civarında ayarlayın. 🏂