Yapay Zeka Sistemi Mimari Kalıpları

Üretim ortamındaki bir yapay zekâ sistemi, bir model dosyasından çok daha fazlasıdır. Veri işlem hatlarını, özellik depolarını, sunum altyapısını ve izlemeyi içerir. Mimari kalıplar, bu parçaları güvenilir biçimde bir araya getirmek için kanıtlanmış taslaklardır.

Yapay zekâ sistemleri çoğu zaman her ikisine de ihtiyaç duyar:

• Geçmiş veriler üzerinde doğru ve kapsamlı sonuçlar için toplu işleme
• Yeni olaylarda güncel ve düşük gecikmeli sonuçlar için gerçek zamanlı işleme

Bu ikisini uzlaştırmak, tekrarlanan bir tasarım zorluğudur.

Lambda mimarisi, paralel çalışan iki katmanla bu sorunu çözer: tüm veriler üzerindeki doğru görünümleri yeniden hesaplayan bir toplu işlem katmanı ve yakın zamandaki verileri düşük gecikmeyle işleyen bir hız katmanı. Bir sunum katmanı, sorgular için ikisini birleştirir.

Toplu işlem katmanı, yetkili ve doğru sonuçlar üretmek için veri kümesinin tamamını düzenli aralıklarla yeniden işler; örneğin özellikleri her gece yeniden hesaplar. Doğru sonuç verir ancak gecikmesi yüksektir, bu nedenle son birkaç saniyede gerçekleşen olayları yansıtamaz.

Hız katmanı, son toplu çalıştırmadan beri oluşan boşluğu doldurmak için akış verilerini gerçeğe yakın zamanda işler. Güncellik karşılığında bir miktar doğruluktan ödün verir ve sonuçlarının yerini sonunda bir sonraki toplu çalıştırmanın sonuçları alır.

Özellik deposu, makine öğrenimi özelliklerini yönetmeye yarayan merkezi bir sistemdir. Kritik bir sorunu çözer: eğitim ve sunum aynı özellik tanımlarını kullanmalıdır; aksi halde model üretimde eğitim sırasında kullandığından farklı girdiler görür (eğitim-sunum kayması).

Çevrimdışı depo, genellikle bir veri gölünde veya veri ambarında parquet dosyaları olarak tutulan büyük miktardaki geçmiş özellik değerlerini barındırır. Gecikmeden çok işlem hacminin önemli olduğu eğitim ve toplu puanlama işlemlerini destekler.

Çevrimiçi depo, en güncel özellik değerlerini Redis gibi düşük gecikmeli bir veritabanında tutar. Sunum sırasında model, çevrimdışı depodakiyle aynı tanımları kullanarak özellikleri buradan milisaniyeler içinde alır.

Özellik deposu, eğitim için hesaplanan bir özelliğin sunum sırasında okunan özellikle eşleşmesini garanti eder. Bu tutarlılık, fark edilmesi zor üretim hatalarının önemli bir kaynağını ortadan kaldırır ve özellik deposunun temel değerini oluşturur.

Üretimde yeni bir modele güvenmeden önce onu gölge modunda çalıştırın: model gerçek trafiği alır ve tahminlerde bulunur, ancak bu tahminler günlüğe kaydedilir ve kullanıcılara sunulmaz. Bunları mevcut modelin sonuçlarıyla karşılaştırarak kullanıcılar için hiç risk oluşturmazsınız.

Gölge mod, yeni modelin canlı trafikte doğru ve kararlı olduğunu gösterdikten sonra modeli canlıya alırsınız; bunu çoğunlukla kademeli bir yayınla yaparsınız. Gölge mod ile kademeli yayın, eğitilmiş modelden tüm üretim trafiğine güvenli ve aşamalı bir geçiş sağlar.

Mimari bilginizi sınayın.

Yapay zekâ sistemi mimarisi kalıplarını öğrendiniz:

• Lambda mimarisi: toplu işlem katmanı (doğru) ve hız katmanı (güncel)
• Özellik deposu: eğitim için çevrimdışı parquet, sunum için çevrimiçi Redis ve tutarlı tanımlar
• Gölge modu, yeni bir modeli canlıya almadan önce gerçek trafik üzerinde doğrular