Ikhtisar Azure Cognitive Services

Azure AI Services (sebelumnya Azure Cognitive Services) adalah kumpulan API AI siap pakai yang memungkinkan pengembang menambahkan fitur cerdas ke aplikasi tanpa melatih model pembelajaran mesin dari awal. Portofolio ini mencakup empat domain: Vision (menganalisis gambar dan video), Language (memahami dan menghasilkan teks), Speech (mengonversi audio dan teks), serta Decision (mempersonalisasi konten dan mendeteksi anomali). Semuanya dapat diakses melalui API REST, SDK, atau portal Azure.

Anda dapat menyediakan layanan AI dengan dua cara. sumber daya multi-layanan (disebut Azure AI Services di portal) menyediakan akses ke sebagian besar API melalui satu titik akhir dan satu kunci API—praktis untuk pengembangan dan eksperimen. sumber daya layanan tunggal (misalnya Computer Vision atau Text Analytics) hanya menyediakan akses ke satu API, dengan penagihan khusus dan batas kuota untuk setiap layanan. Untuk produksi, sumber daya layanan tunggal sering lebih disukai agar pengeluaran dapat dikendalikan dan kebijakan keamanan khusus layanan dapat diterapkan.

Kategori Azure AI Vision mencakup beberapa API. Computer Vision menganalisis gambar untuk menemukan objek, deskripsi adegan, teks (OCR), dan konten dewasa. Custom Vision memungkinkan Anda melatih model klasifikasi gambar atau deteksi objek sendiri hanya dengan beberapa lusin gambar berlabel. Face API mendeteksi wajah dan emosi (dengan kontrol akses untuk penggunaan yang bertanggung jawab). Azure AI Video Indexer mengekstrak wawasan dari file video, termasuk pengenalan pembicara, transkripsi, dan deteksi adegan.

Kategori Azure AI Language menyediakan kemampuan analisis teks. Text Analytics menawarkan analisis sentimen, ekstraksi frasa kunci, pengenalan entitas bernama (NER), dan deteksi bahasa. Azure AI Translator menerjemahkan teks antara lebih dari 100 bahasa dengan satu panggilan API. Azure AI Language Understanding (CLU) mengklasifikasikan maksud pengguna dari bahasa alami untuk membangun aplikasi percakapan. Azure AI Question Answering membangun basis pengetahuan dari FAQ dan dokumen untuk menjawab pertanyaan dalam bahasa alami.

Kategori Azure AI Speech menghubungkan audio dan teks. Speech to Text (STT) mentranskripsikan audio ucapan secara waktu nyata atau dalam mode batch, mendukung lebih dari 100 bahasa dan model akustik khusus untuk istilah khusus domain. Text to Speech (TTS) mengubah teks menjadi audio yang terdengar alami menggunakan suara neural dalam lebih dari 140 bahasa. Speaker Recognition mengidentifikasi atau memverifikasi seseorang berdasarkan suaranya. Speech Translation menggabungkan STT dengan Translator untuk menyediakan penerjemahan ucapan ke ucapan secara waktu nyata.

Kategori Decision mencakup layanan untuk personalisasi dan deteksi anomali. Azure AI Anomaly Detector menganalisis data deret waktu (misalnya metrik server dan angka penjualan) serta secara otomatis mengidentifikasi anomali tanpa memerlukan kumpulan data pelatihan berlabel—layanan ini mempelajari pola normal dari data historis. Azure AI Personalizer (sekarang menjadi bagian dari Content Safety pada beberapa tampilan) menggunakan pembelajaran penguatan untuk memilih item konten terbaik yang akan ditampilkan kepada pengguna berdasarkan fitur kontekstual. Keduanya berguna untuk skenario operasional dan kecerdasan bisnis.

Semua API Azure AI Services mengikuti pola yang sama: dapatkan URL titik akhir dan kunci API (atau gunakan identitas terkelola) dari sumber daya Anda, lalu kirim permintaan HTTP POST dengan muatan dan header autentikasi. API mengembalikan respons JSON yang berisi hasilnya. Microsoft menyediakan SDK klien untuk .NET, Python, JavaScript, Java, dan Go yang membungkus panggilan REST dengan objek bertipe serta logika percobaan ulang, sehingga integrasi menjadi mudah tanpa perlu menangani HTTP secara manual.

Microsoft membangun Azure AI Services berdasarkan enam prinsip AI yang bertanggung jawab: Keadilan (AI tidak boleh mendiskriminasi), Keandalan dan Keamanan (AI harus bekerja sesuai harapan), Privasi dan Keamanan (data harus dilindungi), Inklusivitas (AI harus memberdayakan semua orang), Transparansi (AI harus dapat dipahami), dan Akuntabilitas (manusia harus bertanggung jawab atas keputusan AI). Beberapa kemampuan, seperti fitur identifikasi Face API, memerlukan pengajuan resmi kepada Microsoft sebelum akses diberikan.

Azure AI Services menggunakan model harga bayar sesuai penggunaan: Anda membayar per panggilan API, per gambar yang dianalisis, per karakter yang diterjemahkan, atau per menit audio yang ditranskripsikan. Setiap layanan dan tingkat memiliki unit harga sendiri. tingkat gratis (F0) tersedia untuk sebagian besar layanan dengan kuota panggilan terbatas (misalnya 5.000 panggilan per bulan untuk Text Analytics), sehingga eksperimen dapat dilakukan tanpa biaya. Tingkat Standard (S0) memiliki kuota yang lebih tinggi dan sesuai untuk produksi. Biaya meningkat secara linear mengikuti penggunaan—tidak ada komitmen bulanan tetap.

Sumber daya Layanan AI harus diamankan lebih dari sekadar autentikasi kunci API bawaan. Praktik terbaik meliputi: menyimpan kunci API di Azure Key Vault, bukan di dalam kode; menggunakan identitas terkelola untuk mengakses sumber daya tanpa kunci apa pun; membatasi akses jaringan menggunakan titik akhir privat agar sumber daya hanya dapat dijangkau dari VNet Anda; serta mengaktifkan pencatatan diagnostik untuk mengaudit semua panggilan API demi kepatuhan. Kunci API harus dirotasi secara berkala—setiap sumber daya memiliki dua kunci untuk memungkinkan rotasi tanpa waktu henti.

Banyak Azure AI Services dapat disebarkan sebagai kontainer Docker untuk skenario yang memerlukan residensi data (pemrosesan tetap berlangsung di lokasi atau di wilayah tertentu) atau lingkungan yang terputus. Anda mengambil image kontainer dari Microsoft Container Registry, menjalankannya dengan kunci API dan konfigurasi titik akhir, lalu memanggil API REST layanan tersebut di localhost. Kontainer menghubungi Azure untuk penagihan—semua penggunaan tetap dilacak dan ditagihkan melalui langganan Azure Anda, tetapi pemrosesan AI berlangsung secara lokal.

Uji pemahaman Anda tentang konsep Microsoft Azure Fundamentals (AZ-900) dari pelajaran ini.

Dalam pelajaran ini Anda telah mempelajari bahwa Azure AI Services menyediakan kemampuan AI siap pakai di berbagai domain Vision, Language, Speech, dan Decision yang dapat diakses melalui API REST; sumber daya multi-layanan menyederhanakan akses dengan satu titik akhir dan satu kunci; serta semua layanan harus diamankan dengan Key Vault dan identitas terkelola dan dapat disebarkan sebagai kontainer untuk memenuhi persyaratan residensi data. Selanjutnya, kita akan mempelajari cara memanggil API Language dan Vision dalam praktik.