Yapay Zeka İçin Veri Hazırlama

Lezzetli bir yemek pişirdiğinizi düşünün. Bozulmuş malzemeler kullanmazsınız, değil mi?

Aynı durum yapay zekâ için de geçerlidir! Veri hazırlama, ham verileri yapay zekâ modellerinin kullanabileceği temiz ve işlenebilir bir biçime dönüştürme sürecidir.

Bu önemli bir adımdır; çünkü verilerinizin kalitesi, yapay zekânızın performansını ve doğruluğunu doğrudan etkiler.

Ham veriler nadiren kusursuz durumda olur. Genellikle yapay zekâ modellerini yanıltabilecek sorunlar içerir.

• Eksik Değerler: Verilerin bulunması gereken boşluklar.
• Tutarsızlıklar: Aynı bilginin farklı biçimlerde gösterilmesi.
• Yinelenen Kayıtlar: Tekrarlanan kayıtlar.
• Aykırı Değerler: Sonuçları çarpıtabilecek uç değerler.

Bu sorunları belirlemek ilk adımdır.

Eksik değerler hatalara veya taraflı sonuçlara yol açabilir. Yaygın stratejiler şunlardır:

• Silme: Çok fazla eksik veri içeren satırları veya sütunları kaldırın (dikkatli kullanın!).
• Atama: Eksik değerleri doldurun. Sütunun ortalamasını, medyanını veya modunu kullanabilirsiniz.
• Tahmin: Eksik değerleri tahmin edip doldurmak için diğer özellikleri kullanın (daha ileri düzey).

En iyi yöntem verilerinize ve yapay zekâ görevinize bağlıdır.

Yinelenen kayıtlar, aynı bilginin birden çok kez kaydedildiği anlamına gelir. Bu durum veri kümenizi olduğundan büyük gösterebilir ve modelinizi taraflı hâle getirebilir.

Örneğin, bir müşterinin 'yeni kayıtlar' listesinde iki kez görünmesi.

Çözüm basittir: Bu gereksiz satırları belirleyip kaldırın. Çoğu veri aracında bunun için yerleşik işlevler bulunur.

Tutarsızlıklar, aynı verinin farklı şekillerde gösterilmesiyle ortaya çıkar. 'USA', 'U.S.A.' ve 'United States' ifadelerinin hepsinin aynı ülkeyi ifade ettiğini düşünün.

Bu durum tarih biçimleri (ör. '10/01/2023' ve 'Jan 10, 2023') veya ölçü birimleri (ör. 'kg' ve 'lbs') için de geçerlidir.

Bunları standartlaştırmak, yapay zekâ modelinizin verileri doğru yorumlamasını sağlar.

K-En Yakın Komşular gibi bazı yapay zekâ algoritmaları, sayısal özelliklerin ölçeğine duyarlıdır. 1-1000 arasında değerlere sahip bir özellik, 0-1 arasında değerlere sahip bir özelliğe baskın gelebilir.

• Normalleştirme: Değerleri genellikle 0 ile 1 arasındaki sabit bir aralığa ölçeklendirir.
• Standartlaştırma: Verileri ortalaması 0 ve standart sapması 1 olacak şekilde dönüştürür.

Bu, daha büyük değerlere sahip özelliklerin modeli orantısız biçimde etkilemesini önlemeye yardımcı olur.

Yapay zekâ modelleri sayılarla en iyi şekilde çalışır. Kategorik verilerin ('Kırmızı', 'Yeşil', 'Mavi' veya 'Küçük', 'Orta', 'Büyük' gibi) dönüştürülmesi gerekir.

• Tek Sıcak Kodlama: Her kategori için yeni ikili (0 veya 1) sütunlar oluşturur. Örn. 'Color_Red', 'Color_Green'.
• Etiket Kodlama: Her kategoriye benzersiz bir tam sayı atar. Örn. Red=0, Green=1, Blue=2. Dikkatli kullanın; çünkü bu işlem kategoriler arasında bir sıralama olduğunu ima eder.

Bazen ham özellikler yeterli olmaz. Özellik mühendisliği, modelin performansını artırmak için mevcut özelliklerden yeni özellikler oluşturma sanatıdır.

Örnekler:

• 'height' ve 'weight' değerlerini birleştirerek 'BMI' oluşturmak.
• Bir 'date' sütunundan 'month' veya 'day of week' bilgilerini çıkarmak.
• Bir 'age' sütunundan bir 'age group' oluşturmak.

Bu işlem, modelin örüntüleri daha kolay bulmasına yardımcı olur.

Yapay zekâ modelinizi eğitmeden önce hazırladığınız verileri farklı kümelere ayırmanız gerekir:

• Eğitim Kümesi: Modeli öğretmek için kullanılır.
• Doğrulama Kümesi: Modelin hiperparametrelerini ayarlamak ve geliştirme sırasında aşırı uyumu önlemek için kullanılır.
• Test Kümesi: Modelin performansını son kez değerlendirmek için kullanılan, modelin daha önce hiç görmediği veri kümesidir.

Bu, modelinizin yeni ve gerçek dünyadaki verilere iyi şekilde genelleme yapmasını sağlar.

Harika iş çıkardınız! Bu derste veri hazırlama sürecini ayrıntılı olarak inceledik.

Şunları öğrendiniz:

• Verileri temizleme (eksik değerler, yinelemeler, tutarsızlıklar).
• Verileri dönüştürme (özellik ölçekleme, kategorik verileri kodlama).
• Temel özellik mühendisliği.
• Model değerlendirmesi için verileri bölmenin önemi.

Yüksek kaliteli veriler, etkili yapay zekânın temelidir. Bu becerileri geliştirmeye devam edin!