Şema Doğrulama ve İddialar

Bir veri pipeline'ı yeni verileri çoğu zaman insan incelemesi olmadan otomatik olarak işler. Girdi dosyasının şeması değişirse — bir sütunun adı değiştirilirse, tarih biçimi farklılaşırsa veya yeni bir kategori ortaya çıkarsa — pipeline sessizce hatalı çıktı üretmek yerine açıkça başarısız olmalıdır. İddialarla yapılan şema doğrulaması, veri üreticileri ile veri tüketicileri arasındaki sözleşmeleri zorunlu kılan mekanizmadır ve sorunları mümkün olan en erken anda yakalar.

En temel doğrulama, gerekli tüm sütunların mevcut olup olmadığını kontrol etmektir. Beklenen sütun kümesini bir yapılandırmada saklayın ve bunun gerçek sütunların bir alt kümesi olduğunu doğrulayın. Bu kontrol, yeniden adlandırmaları ve silinmeleri işlem hattının başlangıcında hemen yakalar; böylece sonraki kod eksik sütunlara erişmeye çalışıp işlem hattının derinliklerinde kafa karıştırıcı bir KeyError oluşturmaz.

Gerekli sütunları doğruladıktan sonra veri türlerini doğrulayın. object olarak yüklenen bir tarih sütunu, pd.to_datetime() çağrısının yapılmadığı anlamına gelir. int64 yerine float olarak saklanan bir ID sütunu, genellikle tamsayı olarak saklamayı engelleyen NaN değerlerinin bulunduğunu gösterir. En kritik sütunlar için assert df['col'].dtype == expected_type kullanarak tür doğrulamaları yazın.

order_id, order_date ve revenue gibi temel sütunlar hiçbir zaman boş olmamalıdır. Her biri için df['col'].notna().all() doğrulamasını kullanın. Doğrulama mesajını uygulanabilir hâle getirmek için boş değerlerin sayısını da ekleyin; böylece işlem hattı operatörü yalnızca bir doğrulamanın başarısız olduğunu değil, sorunun boyutunu da görebilir.

Sayısal sütunların genellikle geçerli iş aralıkları vardır. Gelir negatif olmamalıdır. Miktar pozitif bir tamsayı olmalıdır. Birim fiyat sıfırdan büyük olmalıdır. Bu kısıtları açıkça doğrulayın — gözden kaçan negatif gelirli bir satır, sonraki tüm toplulaştırmalarda toplamların hatalı biçimde düşük hesaplanmasına neden olur ve herhangi bir hata oluşturmaz. Aralık kontrolleri, veri girişi hatalarını ve üst sistemlerdeki hataları erken aşamada yakalar.

Tekilleştirmeden sonra order_id benzersiz olmalıdır. Bu değişmez koşulun her işlem hattı çalıştırmasında korunduğunu doğrulamak için df['order_id'].is_unique ifadesini kullanın. Tekilleştirmeden sonra görülen benzersizlik ihlalleri, tekilleştirme mantığında bir hata olduğunu veya ana veri kümesiyle birleştirilmeden önce temizlenmemiş yeni bir veri kaynağının eklendiğini gösterir.

region veya category gibi sonlu bir geçerli değer kümesine sahip sütunlarda, her değerin izin verilen kümede bulunduğunu doğrulayın. Bu kontrol, sistem geçişinden veya üst sistemdeki veri girişi değişikliğinden sonra ortaya çıkan beklenmeyen değerleri yakalar. İşletme yeni bölgelere açıldığında kolayca güncellenebilmeleri için geçerli kümeleri işlem hattı yapılandırmasında tanımlayın.

Tüm tarihlerin veri kümesi için beklenen dönem içinde bulunduğunu doğrulayın. Gelecekteki bir tarihe sahip sipariş mümkün değildir; şirket kurulmadan önceki bir tarihe sahip sipariş ise bozulmuş bir kayda işaret eder. Yapılandırmada MIN_DATE ve MAX_DATE tanımlayın ve sütunun bu sınırlar içinde kaldığını doğrulayın. Bu kontrol, hatalı zaman damgası dönüştürmelerinden kaynaklanan Unix dönemi başlangıcı tarihlerini (1970-01-01) de yakalar.

Önceki işlem hattı çalıştırmasına göre satır sayısındaki ani değişim, üst sistemde bir sorun olduğuna dair güçlü bir işarettir. Önceki çalıştırmanın satır sayısını bir yapılandırma dosyasında saklayın ve yeni sayının bir tolerans bandı içinde olduğunu doğrulayın; örneğin, geçmiş sayıdan ±20 % içinde olmasını bekleyin. Çalıştırmalar arasında satırlarının %50'sini kaybeden bir veri kümesi, neredeyse kesin olarak bozuk bir veri dışa aktarımına işaret eder.

Tüm doğrulamaları, her işlem hattı aşamasının başında çağrılabilecek tek bir validate(df) işlevinde toplayın. Her kontrol başarısız olduğunda açıklayıcı bir mesajla AssertionError oluşturur. Bu yaklaşım, işlem hattını kendi kendini belgeleyen bir yapıya dönüştürür: doğrulama işlevi, o aşamadaki DataFrame için makine tarafından okunabilen şema sözleşmesidir.

Üretim işlem hatlarında, doğrudan bir assert çökmesi geliştirme sırasında kabul edilebilir; ancak zamanlanmış bir işte istenmez. Çıplak doğrulamaları, hata mesajını günlüğe kaydeden ve çıkmadan önce isteğe bağlı olarak uyarı gönderen try/except AssertionError bloklarıyla değiştirin. Böylece izleme sistemi yalnızca işlenmemiş bir özel durum yığın izlemesi yerine hatanın nedenini yakalayabilir.

Bu derste şunları öğrendiniz: gerekli sütunları, veri türlerini, boş olmayan değer kısıtlamalarını ve aralık geçerliliğini doğrulamayı, benzersiz anahtarları, kategorik değerleri ve tarih aralıklarını kontrol etmeyi ve tüm kontrolleri günlüğe kaydetme özelliğine sahip yeniden kullanılabilir bir validate() işlevinde paketlemeyi. Sırada, sütunlar ve satırlar üzerinde apply() kullanarak özel toplulaştırmaları inceleyeceğiz.