Aykırı Değerler ve Anlamları

Bazen bir değer grubun geri kalanından çok uzakta bulunur. Bu yalnız nokta bir aykırı değerdir ve tüm analizinizi sessizce çarpıtabilir. 🚩

Tek bir uç değer mean değerini çekip standart sapmayı büyütebilir. Aykırı değerleri erken fark etmek, gerçek örüntüyü gizlemelerini önler.

Her aykırı değer gereksiz değildir. Bazıları düzeltilmesi gereken yazım hatalarıdır; diğerleri ise dolandırıcılık veya tüm dikkatinizi hak eden nadir bir olay gibi gerçek bir sinyaldir.

Klasik denetimde IQR kullanılır. Q1'in çok altındaki veya Q3'ün çok üstündeki her şey, yeniden incelenmesi gereken olası bir aykırı değer olarak işaretlenir.

Q1 eksi IQR'nin 1,5 katı ve Q3 artı IQR'nin 1,5 katı noktalarında bir çit oluşturun. Bu çitin dışındaki noktalar şüpheli aykırı değerlerdir.

Bir boolean maskesi bunları hızla bulur. Sütununuzu çitlerle karşılaştırdığınızda pandas, dışında kalan satırları tam olarak döndürür.

Başka bir yaklaşım, bir noktanın mean değerinden kaç standart sapma uzakta olduğunu gösteren z-skorudur. Yaklaşık üçün üzerindeki değerler çoğu zaman aykırı değer kabul edilir.

Bir kutu grafiği IQR sınırını sizin için çizer ve bu sınırı aşan her şeyi ayrı noktalar olarak işaretler. Elinizdeki en hızlı görsel aykırı değer taraması budur.

Bir noktayı yalnızca uç bir değere sahip olduğu için asla silmeyin. Önce onu inceleyin; çünkü gerçek verileri kaldırmak, ihtiyaç duyduğunuz içgörüyü de yok edebilir.

Bir aykırı değeri anladıktan sonra onu kaldırabilir, sınırlandırabilir veya olduğu gibi bırakabilirsiniz. Değerleri sınıra çekmek, zararı sınırlayan ölçülü bir orta yoldur.

Ne karar verirseniz verin, bunu yazın. Hangi aykırı değerleri neden değiştirdiğinizi açıklayan net bir not, analizinizin güvenilir ve yeniden üretilebilir kalmasını sağlar.

Artık aykırı değerleri IQR kuralı veya z-skorlarıyla tespit edebilir, bunların hata mı yoksa sinyal mi olduğuna karar verebilir ve bilinçli biçimde ele alabilirsiniz. 🎓