Azure OpenAI Service

Azure OpenAI Service, GPT-4, GPT-3.5-turbo, DALL-E ve Embeddings modelleri dahil olmak üzere OpenAI'ın büyük dil modellerine Microsoft'un Azure bulut altyapısı üzerinden erişim sağlar. OpenAI API'sini doğrudan kullanmaktan farklı olarak Azure OpenAI; VNet/Private Link üzerinden özel ağ oluşturma, Microsoft'un uyumluluk sertifikalarını (ISO 27001, SOC 2, GDPR), içerik filtrelemeyi, müşteri verilerinin gizliliğini (verileriniz OpenAI'ın temel modellerini eğitmek için kullanılmaz) ve Azure RBAC ile izleme tümleştirmesini sunar.

Azure OpenAI, onaylanmış bir abonelik gerektirir; erişim kısıtlıdır ve bir form aracılığıyla istenmelidir. Onaylandıktan sonra bir Azure OpenAI kaynağı oluşturur, ardından bunun içinde bir dağıtım oluşturursunuz. Dağıtım, bir modeli (örneğin gpt-4) bir dağıtım adına (örneğin my-gpt4) ve bir belirteç kotasına (dakika başına belirteç sınırı) bağlar. API'yi temel model adıyla değil, dağıtım adınızla çağırırsınız. Farklı modellere veya kotalara sahip birden çok dağıtım tek bir kaynakta birlikte bulunabilir.

chat completions API'si (/openai/deployments/{deployment}/chat/completions), roller içeren (system, user, assistant) bir ileti listesi kabul eder ve modelin yanıtını döndürür. system iletisi, modelin davranışını ve kişiliğini belirler. user iletisi istemi veya soruyu içerir. Modelin birden çok turlu diyalog boyunca bağlamı koruması için konuşmanın önceki turları ileti dizisine eklenir. Temperature (0–2), yanıtın rastlantısallığını denetler.

İstem mühendisliği, bir dil modelinden en iyi sonuçları almak için etkili giriş iletileri oluşturma uygulamasıdır. Temel teknikler şunlardır: System prompt — modele açık bir rol ve kısıtlamalar verin; Few-shot examples — istenen giriş-çıkış biçimine ilişkin 2–5 örneği modele gösterin; Chain-of-thought — modelden son yanıtı vermeden önce adım adım düşünmesini isteyin; Constraints — biçim, uzunluk ve kaçınılması gerekenler konusunda modeli açıkça yönlendirin. İyi istemler halüsinasyonları azaltır ve tutarlılığı artırır.

Embeddings, metni anlamsal anlamı yakalayan yoğun bir sayısal vektöre dönüştürür. Anlamı benzer olan iki metin parçasının vektörleri, vektör uzayında birbirine yakın olur (kosinüs benzerliğiyle ölçülür). Azure OpenAI embeddings uç noktası (/embeddings), 1.536 boyutlu vektörler oluşturmak için text-embedding-ada-002 modelini kullanır. Anlamsal arama (sorguya benzer belgeleri bulma), RAG (Retrieval-Augmented Generation) ve öneri sistemleri oluşturmak için embeddings kullanırsınız.

Azure OpenAI, hem istemlerde (giriş) hem de tamamlamalarda (çıkış) çalışan çok katmanlı bir içerik filtreleme sistemi içerir. Dört kategorideki içeriği algılar ve engeller: nefret, cinsel içerik, şiddet ve kendine zarar verme. Her kategorinin üç önem düzeyi (düşük, orta, yüksek) vardır ve filtreleme eşiklerini kategori başına yapılandırabilirsiniz. İstem enjeksiyonu girişimleri (sistem istemini geçersiz kılmaya çalışan jailbreak'ler) de filtrelenir. İçerik filtreleme varsayılan olarak açıktır ve kullanım senaryosu gerekçesi olmadan çoğu model için devre dışı bırakılamaz.

RAG, dil modeli yanıtlarını yalnızca modelin eğitim bilgisine dayandırmak yerine kendi verilerinizle temellendirir. İşleyiş şöyledir: (1) belgelerinizi bir vektör deposuna (örneğin Azure AI Search) dizinleyin, (2) kullanıcı bir soru sorduğunda soruyu embedding'e dönüştürün ve ilgili belge parçalarını bulmak için vektör deposunda arama yapın, (3) bu parçaları bağlam olarak sistem istemine ekleyin, (4) model, sağlanan bağlama dayanarak yanıt verir. RAG, halüsinasyonları azaltır ve LLM'lerin ince ayar yapmadan özel ve güncel verilerle ilgili soruları yanıtlamasını sağlar.

İki yaklaşım, özel veriler kullanarak model yeteneklerini genişletir. İnce ayar, örneklerinizle yeni bir model sürümü eğitir ve bilgiyi model ağırlıklarına işler — modeli bir istemde açıklanması zor olan belirli stilleri, biçimleri veya davranışları öğretmek için en uygunudur. RAG, çıkarım sırasında ilgili bilgileri alır ve bunları bağlama ekler — sık değişen büyük bilgi tabanları için daha uygundur; çünkü modeli yeniden eğitmek yerine vektör dizinini güncellersiniz. Çoğu kurumsal kullanım senaryosunda, daha düşük maliyet ve daha hızlı yineleme sağladığı için RAG tercih edilir.

Azure AI Studio (Azure AI Foundry olarak yeniden markalanmaktadır), Azure üzerinde üretken yapay zekâ uygulamaları geliştirmek için birleşik bir portaldır. Etkileşimli olarak model tamamlamalarını test etmek için bir deneme alanı, model kalitesini gerçek doğruluk verisi kümelerine göre değerlendirme araçları, RAG işlem hatları oluşturup bunları REST API'leri olarak dağıtmak için bir istem akışı tasarımcısı ve geliştirici iş akışları için GitHub ve VS Code tümleştirmesi sağlar. Azure AI Studio, model dağıtımından üretim ortamındaki yapay zekâ uygulamasına geçişi kolaylaştırır.

Azure OpenAI, işlenen 1.000 token başına ücretlendirilir — burada bir token yaklaşık 4 karakter veya 0,75 kelimedir. Hem giriş (istem) hem de çıkış (tamamlama) token'ları ücretlendirilir. GPT-4, token başına GPT-3.5-turbo'dan önemli ölçüde daha pahalıdır. Kötüye kullanımı önlemek amacıyla her dağıtımın aktarım hızını sınırlayan bir dakika başına token (TPM) kotası vardır. Uygulamanız kotayı aşarsa API 429 TooManyRequests döndürür. Kota artışı isteyebilir veya istemci tarafında üstel bekleme ve yeniden deneme mantığı uygulayabilirsiniz.

Microsoft, Sorumlu Yapay Zekâ ilkelerini özellikle üretken yapay zekâya uygular. Temellendirme — yanıtlar doğrulanabilir bilgilere dayanmalıdır (RAG yardımcı olur). Şeffaflık — kullanıcılar yapay zekâ ile etkileşimde olduklarını bilmelidir. Zararın önlenmesi — içerik filtreleri zararlı çıktıları engeller. Gizlilik — Azure OpenAI'daki verileriniz, OpenAI'ın küresel modellerini eğitmek için kullanılmaz. Azure OpenAI üzerinde oluşturulan uygulamalar, Microsoft'un Kabul Edilebilir Kullanım İlkesi gereğince bir kullanım senaryosu risk değerlendirmesi içermeli ve belirlenen zararlar için azaltıcı önlemler uygulamalıdır.

Bu derste ele alınan Microsoft Azure Fundamentals (AZ-900) kavramlarını anlayıp anlamadığınızı sınayın.

Bu derste şunları öğrendiniz: Azure OpenAI Service, özel ağ oluşturma ve uyumluluk özellikleriyle GPT-4 ve diğer modellere kurumsal düzeyde erişim sağlar; sohbet tamamlamaları API'si, sistem/kullanıcı/asistan ileti rolleriyle çok turlu görüşmeleri destekler; eklemeler ve RAG, halüsinasyonları azaltmak için model yanıtlarını özel verilerinizle temellendirir. Sırada, hibrit ve şirket içi kaynakları Azure denetim düzlemi üzerinden yönetmek için Azure Arc'ı inceleyeceğiz.