Aktarım Öğrenmesi Kavramları ve Stratejileri

Aktarım öğrenimi, büyük bir veri kümesi üzerinde eğitilmiş bir modeli yeni ve ilişkili bir görev için başlangıç noktası olarak yeniden kullanır. Görsel özellikleri sıfırdan öğrenmek yerine, bir ağın daha önce öğrendiği özelliklerden yararlanırsınız.

Bu, yüksek doğruluğa ulaşmak için gereken veri ve hesaplama miktarını büyük ölçüde azaltır.

Önceden eğitilmiş görme modellerinin çoğu, 1000 sınıf içeren yaklaşık 1,4 milyon görüntü üzerinde ImageNet ile eğitilir.

Bu eğitim sırasında ağ bir özellik hiyerarşisi öğrenir: ilk katmanlarda kenarlar ve renkler, orta katmanlarda dokular, üst katmanlara yakınsa nesne parçaları. Bu düşük düzeyli özellikler neredeyse her görüntü görevi için iyi aktarılır.

İlk evrişim katmanları, kedilerde, röntgenlerde veya uydu fotoğraflarında bulunmalarından bağımsız olarak her doğal görüntüde görülen genel örüntüleri (kenarlar, benekler, gradyanlar) algılar.

Daha derin katmanlar daha göreve özgü hale gelir; bu katmanlar söz konusu kenarları ImageNet nesne parçalarına dönüştürür. Bu nedenle genellikle ilk katmanları korur, sonraki katmanları değiştirir veya yeniden eğitiriz.

Özellik çıkarımı, önceden eğitilmiş temel modelin her katmanını dondurarak ağırlıklarının hiç değişmemesini sağlar. Temel model sabit bir özellik çıkarıcı gibi davranır; yalnızca üstüne eklediğiniz küçük yeni sınıflandırma başlığını eğitirsiniz.

Veri kümeniz küçükse ve ImageNet'e benziyorsa bu yöntemi kullanın. Yalnızca az sayıda parametre eğitilebilir olduğu için hızlıdır ve aşırı uyuma karşı dayanıklıdır.

İnce ayar, temel modelin üst katmanlarının kilidini açar ve bunları başlıkla birlikte yeniden eğitir; böylece ağ, üst düzey özelliklerini verilerinize göre uyarlayabilir.

Daha fazla veriniz varsa veya alanınız ImageNet'ten farklıysa (örneğin tıbbi taramalar) bu yöntemi kullanın. Önceden eğitilmiş ağırlıkları bozmamak için ince ayarı her zaman çok düşük bir öğrenme oranıyla yapın.

• Özellik çıkarımı: temel model dondurulur, yalnızca başlık eğitilir, çok hızlıdır ve küçük/benzer veriler için en uygunudur.
• İnce ayar: temel modelin üst katmanlarının kilidi açılır ve başlıkla birlikte eğitilir; daha yavaştır, daha büyük/farklı veriler için en uygunudur.

Yaygın bir yaklaşım, önce özellik çıkarımı yapmak, ardından başlık kararlı hale geldiğinde ikinci aşamada ince ayar uygulamaktır.

Sahip olduğunuz veri miktarı stratejinizi belirler:

• Birkaç yüz görüntü: yalnızca özellik çıkarımı (her şeyi dondurun).
• Birkaç bin görüntü: önce özellik çıkarımı, ardından ilk birkaç katmana ince ayar.
• On binlerce ve üzeri görüntü: temel modelin daha büyük bölümlerine, hatta gerekirse tüm ağa ince ayar uygulayın.

Daha az veri, daha fazla katmanı dondurmanız gerektiği anlamına gelir; çünkü daha az eğitilebilir parametre aşırı uyum riskini azaltır.

ImageNet modelleri 1000 sınıf çıktısı üretir. Görevinizde muhtemelen farklı sayıda sınıf vardır; bu nedenle özgün üst kısmı (include_top=False) kaldırıp sınıflarınızın sayısına uygun kendi başlığınızı eklersiniz.

Her önceden eğitilmiş model ailesi, girdilerin ImageNet eğitimi sırasında kullanılan yöntemle ölçeklendirilmesini bekler. Uygun preprocess_input işlevini kullanmak zorunludur; aksi halde doğruluk büyük ölçüde düşer.

Özellik çıkarımı sırasında normal bir öğrenme oranı (örneğin 1e-3) uygundur; çünkü yalnızca yeni başlık eğitilir.

İnce ayar sırasında 1e-5 gibi çok küçük bir değere düşmelisiniz. Büyük güncellemeler, özenle öğrenilmiş ImageNet ağırlıklarını silebilir; bu etkiye felaketle unutma denir.

1. include_top=False ile önceden eğitilmiş bir temel model yükleyin.
2. Temel modeli dondurun ve yeni bir başlık eğitin (özellik çıkarımı).
3. Üst katmanların kilidini açın ve çok küçük bir öğrenme oranıyla yeniden eğitin (ince ayar).
4. Değerlendirin ve dağıtım için dönüştürün.

Bu aşamalı yaklaşım, sınırlı veri kümeleriyle bile güçlü doğruluk sağlar.

Aktarım öğrenimi stratejilerini ne kadar anladığınızı test edin.

Aktarım öğreniminin, ImageNet üzerinde önceden eğitilmiş özellikleri (1,4 milyon görüntü, 1000 sınıf) yeniden kullandığını öğrendiniz. Özellik çıkarımı, küçük/benzer veri kümeleri için temel modeli dondurur; ince ayar ise daha büyük/farklı veriler için üst katmanların kilidini çok küçük bir öğrenme oranıyla açar.

Ön işlemeyi temel modele uygun hale getirin, başlığı sınıflarınıza göre değiştirin ve aşamalı bir iş akışı kullanın. Sırada bunu VGG16 ve ResNet50 ile koda döküyoruz.