0Pricing
Learn AI with Python · Ders

Aykırı Değerleri Algılama ve Kaldırma

Z-skoru yöntemi, IQR yöntemi, izolasyon ormanı kavramı ve aykırı değerleri uygulamada ele alma.

Aykırı Değerleri Algılama ve Kaldırma, CoddyKit'te ücretsiz bir Learn AI with Python dersidir. Bu, 4 dersinin 1. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Learn AI with Python öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Learn AI with Python kursu toplamda 4 dersten oluşur.

Aykırı değer nedir?

Aykırı değer, verilerin geri kalanından oldukça uzak bir değerdir. Gerçek bir uç değer, veri giriş hatası veya sensör arızası olabilir. Aykırı değerler ortalamaları, varyansları ve modelleri bozabilir; bu nedenle onları bilinçli biçimde tespit edin.

Z puanı yöntemi

Bir z puanı, bir değerin ortalamadan kaç standart sapma uzakta olduğunu ölçer: z = (x - mean) / std. Yaygın bir kurala göre |z| > 3 olan her nokta aykırı değer olarak işaretlenir.

import numpy as np
data = np.array([10, 12, 11, 13, 12, 100])
z = (data - data.mean()) / data.std()
print(np.round(z, 2))

scipy zscore ile işaretleme

scipy.stats.zscore, bir dizi için z puanlarını hesaplar. Aykırı değerlerden oluşan bir mantıksal maske oluşturmak için bunu bir eşikle birleştirin.

from scipy import stats
z = np.abs(stats.zscore(data))
outliers = z > 3
print(data[outliers])

Z puanının sınırlaması

Z puanı, kendileri de aykırı değerlerden etkilenen ortalamayı ve std değerini kullanır. Veriler büyük ölçüde çarpıksa veya uç değerler içeriyorsa z puanları bazı aykırı değerleri tespit edemeyebilir. IQR yöntemi daha dayanıklıdır.

IQR yöntemi

Çeyrekler arası açıklık IQR = Q3 - Q1, verilerin ortadaki yüzde 50'sini kapsar. Aykırı değerlerin çok az değiştirdiği çeyrekliklerden hesaplandığı için dayanıklıdır.

q1 = np.percentile(data, 25)
q3 = np.percentile(data, 75)
iqr = q3 - q1
print(q1, q3, iqr)

IQR sınırları

Tukey'nin sınırları alt ve üst limitleri şöyle tanımlar: alt = Q1 - 1.5*IQR, üst = Q3 + 1.5*IQR. Bunun dışındaki her şey işaretlenir. Aynı kural, bir boxplot'un bıyıklarını çizer.

lower = q1 - 1.5 * iqr
upper = q3 + 1.5 * iqr
mask = (data < lower) | (data > upper)
print(data[mask])   # outliers

Boxplot görselleştirmesi

Bir boxplot, IQR kuralını görselleştirir: kutu Q1 ile Q3 arasındadır, çizgi medyandır, bıyıklar sınırlara ulaşır ve bunların ötesindeki noktalar tek tek aykırı değer noktaları olarak çizilir.

# import matplotlib.pyplot as plt
# plt.boxplot(data)
# plt.show()

Aykırı değerleri kaldırma

İşaretlendikten sonra aykırı değer içeren satırları DROP edebilirsiniz. Bunu dikkatli yapın; gerçek verileri kaldırmak sonuçları yanlı hâle getirebilir. Neleri ve neden kaldırdığınızı kayda geçirin.

clean = data[~mask]
print(clean)   # outlier removed

np.clip ile Winsorlaştırma

Silmek yerine Winsorlaştırma ile uç değerleri np.clip kullanarak seçilen limitlerde sınırlandırabilirsiniz. Böylece satır sayısı korunurken uç değerlerin etkisi azaltılır.

capped = np.clip(data, lower, upper)
print(capped)   # extreme value pulled to the upper fence

Yüzdelik değerlere kırpma

Yaygın bir Winsorlaştırma seçeneği, değerleri 1. ve 99. yüzdelik değerlere kırpmaktır; böylece değerlerin yalnızca en uçtaki yüzde 2'si simetrik olarak çıkarılır.

lo, hi = np.percentile(data, [1, 99])
print(np.clip(data, lo, hi))

Kaldırmalı mı, sınırlandırmalı mı?

Bağlama göre seçim yapın: Açık hataları (imkânsız değerleri) REMOVE edin, korumak istediğiniz gerçek ancak uç değerleri CAP ile sınırlandırın ve aykırı değerler sinyal olduğunda (dolandırıcılık tespiti gibi) bazen KEEP edin. Kararı belgeleyin.

Hızlı kontrol

Aykırı değer bilginizi sınayın.

Özet

Aykırı değer işleme araç seti:

  • Z puanı: scipy.stats.zscore ile |z| > 3 değerlerini işaretler (aykırı değerlere duyarlıdır)
  • IQR sınırları: Q1-1.5*IQR ile Q3+1.5*IQR arası (dayanıklıdır ve boxplot'ların temelidir)
  • Gerçek hataları kaldırın; uç değerleri np.clip ile Winsorlaştırarak sınırlandırın
  • Değerlerin neden kaldırıldığını veya sınırlandırıldığını her zaman belgeleyin

Sıkça Sorulan Sorular

“Aykırı Değerleri Algılama ve Kaldırma” dersi ücretsiz mi?

Evet — “Aykırı Değerleri Algılama ve Kaldırma” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Learn AI with Python kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Learn AI with Python kursu toplamda 4 dersten oluşur.

“Aykırı Değerleri Algılama ve Kaldırma” dersinde ne öğreneceğim?

Z-skoru yöntemi, IQR yöntemi, izolasyon ormanı kavramı ve aykırı değerleri uygulamada ele alma. Learn AI with Python ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.

Learn AI with Python öğrenmeye başlamak için deneyim gerekli mi?

Önceden deneyim gerekmez. CoddyKit'te Learn AI with Python, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 1. dersidir.

“Aykırı Değerleri Algılama ve Kaldırma” dersi ne kadar sürer?

Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.

Bu Learn AI with Python dersinde kod yazıp çalıştırabilir miyim?

Evet. Her Learn AI with Python dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.

Bu kursun tüm dersleri

  1. Aykırı Değerleri Algılama ve Kaldırma
  2. Kategorik Değişkenleri Kodlama
  3. Özellik Ölçekleme: Normalleştirme ve Standartlaştırma
  4. Ön İşleme Hatları Oluşturma
← Learn AI with Python Sayfasına Dön