Azure OpenAI Service

Azure OpenAI Service menyediakan akses ke model bahasa besar milik OpenAI — termasuk model GPT-4, GPT-3.5-turbo, DALL-E, dan Embeddings — melalui infrastruktur cloud Azure milik Microsoft. Berbeda dari penggunaan API OpenAI secara langsung, Azure OpenAI menyediakan fitur perusahaan: jaringan privat melalui VNet/Private Link, sertifikasi kepatuhan Microsoft (ISO 27001, SOC 2, GDPR), pemfilteran konten, privasi data pelanggan (data Anda tidak digunakan untuk melatih model dasar OpenAI), serta integrasi dengan RBAC dan pemantauan Azure.

Azure OpenAI memerlukan langganan yang disetujui — akses dibatasi dan harus diminta melalui formulir. Setelah disetujui, Anda membuat sumber daya Azure OpenAI, lalu membuat penerapan di dalamnya. Penerapan mengikat sebuah model (misalnya gpt-4) ke nama penerapan (misalnya my-gpt4) dan kuota token (batas token per menit). Anda memanggil API menggunakan nama penerapan, bukan nama model dasar. Beberapa penerapan dengan model atau kuota berbeda dapat berada dalam satu sumber daya.

API penyelesaian obrolan (/openai/deployments/{deployment}/chat/completions) menerima daftar pesan dengan peran (system, user, assistant) dan mengembalikan respons model. Pesan system menetapkan perilaku dan persona model. Pesan user berisi perintah atau pertanyaan. Giliran percakapan sebelumnya disertakan dalam larik pesan agar model mempertahankan konteks sepanjang dialog multi-giliran. Suhu (0–2) mengatur keacakan respons.

Rekayasa perintah adalah praktik menyusun pesan input yang efektif untuk memperoleh hasil terbaik dari model bahasa. Teknik utamanya meliputi: Perintah sistem — berikan peran dan batasan yang jelas kepada model; Contoh few-shot — tunjukkan 2–5 contoh format input-output yang diinginkan; Rantai pemikiran — minta model berpikir langkah demi langkah sebelum memberikan jawaban akhir; Batasan — instruksikan secara eksplisit format, panjang, dan hal-hal yang harus dihindari. Perintah yang baik mengurangi halusinasi dan meningkatkan konsistensi.

Embeddings mengonversi teks menjadi vektor numerik padat yang menangkap makna semantik. Dua teks dengan makna serupa akan memiliki vektor yang berdekatan dalam ruang vektor (diukur dengan kemiripan kosinus). Titik akhir embeddings Azure OpenAI (/embeddings) menggunakan model text-embedding-ada-002 untuk menghasilkan vektor berdimensi 1.536. Anda menggunakan embeddings untuk membangun pencarian semantik (menemukan dokumen yang mirip dengan kueri), RAG (Retrieval-Augmented Generation), dan sistem rekomendasi.

Azure OpenAI menyertakan sistem pemfilteran konten berlapis yang berjalan pada perintah (input) dan penyelesaian (output). Sistem ini mendeteksi dan memblokir konten dalam empat kategori: kebencian, seksual, kekerasan, dan menyakiti diri sendiri. Setiap kategori memiliki tiga tingkat keparahan (rendah, sedang, tinggi), dan Anda dapat mengonfigurasi ambang pemfilteran untuk setiap kategori. Upaya injeksi perintah (jailbreak yang berusaha menimpa perintah sistem) juga difilter. Pemfilteran konten aktif secara bawaan dan tidak dapat dinonaktifkan untuk sebagian besar model tanpa justifikasi kasus penggunaan.

RAG mendasarkan respons model bahasa pada data Anda sendiri, bukan hanya pada pengetahuan pelatihan model. Polanya: (1) indeks dokumen Anda ke dalam penyimpanan vektor (misalnya Azure AI Search), (2) saat pengguna mengajukan pertanyaan, ubah pertanyaan menjadi embedding dan cari potongan dokumen yang relevan di penyimpanan vektor, (3) sertakan potongan tersebut dalam perintah sistem sebagai konteks, (4) model menjawab berdasarkan konteks yang diberikan. RAG mengurangi halusinasi dan memungkinkan LLM menjawab pertanyaan tentang data privat dan terbaru tanpa penyetelan halus.

Dua pendekatan dapat memperluas kemampuan model dengan data khusus. Fine-tuning melatih versi model baru berdasarkan contoh Anda, sehingga pengetahuannya tertanam dalam bobot model — paling sesuai untuk mengajarkan gaya, format, atau perilaku tertentu yang sulit dijelaskan dalam prompt. RAG mengambil informasi yang relevan saat inferensi dan menyediakannya dalam konteks — lebih sesuai untuk basis pengetahuan besar yang sering berubah, karena Anda cukup memperbarui indeks vektor tanpa melatih ulang model. Untuk sebagian besar kasus penggunaan perusahaan, RAG lebih disukai karena biayanya lebih rendah dan proses iterasinya lebih cepat.

Azure AI Studio (yang sedang berganti nama menjadi Azure AI Foundry) adalah portal terpadu untuk membangun aplikasi AI generatif di Azure. Portal ini menyediakan ruang uji untuk menguji penyelesaian model secara interaktif, alat untuk mengevaluasi kualitas model berdasarkan kumpulan data acuan, perancang alur prompt untuk membangun dan menerapkan alur RAG sebagai API REST, serta integrasi dengan GitHub dan VS Code untuk alur kerja pengembang. Azure AI Studio menyederhanakan perjalanan dari penerapan model hingga aplikasi AI produksi.

Azure OpenAI menetapkan harga berdasarkan setiap 1.000 token yang diproses — satu token kira-kira setara dengan 4 karakter atau 0,75 kata. Token input (prompt) dan output (penyelesaian) sama-sama dikenai biaya. GPT-4 memiliki biaya per token yang jauh lebih tinggi daripada GPT-3.5-turbo. Setiap penerapan memiliki kuota token per menit (TPM) yang membatasi kapasitas pemrosesan untuk mencegah penyalahgunaan. Jika aplikasi Anda melampaui kuota, API akan mengembalikan 429 TooManyRequests. Anda dapat meminta peningkatan kuota atau menerapkan logika jeda eksponensial dan percobaan ulang di sisi klien.

Microsoft menerapkan prinsip AI yang Bertanggung Jawab secara khusus pada AI generatif. Keterikatan pada sumber — respons harus didasarkan pada informasi yang dapat diverifikasi (RAG membantu mewujudkannya). Transparansi — pengguna harus mengetahui bahwa mereka sedang berinteraksi dengan AI. Pencegahan bahaya — filter konten memblokir keluaran yang berbahaya. Privasi — data Anda di Azure OpenAI tidak digunakan untuk melatih model global OpenAI. Aplikasi yang dibangun di Azure OpenAI harus menyertakan penilaian risiko kasus penggunaan dan menerapkan mitigasi untuk bahaya yang teridentifikasi, sebagaimana diwajibkan oleh Kebijakan Penggunaan yang Dapat Diterima Microsoft.

Uji pemahaman Anda tentang konsep Microsoft Azure Fundamentals (AZ-900) dari pelajaran ini.

Dalam pelajaran ini Anda telah mempelajari bahwa: Azure OpenAI Service menyediakan akses tingkat perusahaan ke GPT-4 dan model lainnya dengan fitur jaringan privat dan kepatuhan, API penyelesaian obrolan mendukung percakapan multi-giliran menggunakan peran pesan sistem/pengguna/asisten, serta embedding dan RAG mengaitkan respons model dengan data privat Anda untuk mengurangi halusinasi. Selanjutnya, kita akan mempelajari Azure Arc untuk mengelola sumber daya hibrida dan lokal melalui bidang kontrol Azure.