Przegląd usług Azure Cognitive Services

Azure AI Services (wcześniej Azure Cognitive Services) to rodzina gotowych interfejsów API sztucznej inteligencji, które pozwalają deweloperom dodawać inteligentne funkcje do aplikacji bez trenowania modeli uczenia maszynowego od podstaw. Portfolio obejmuje cztery domeny: Vision (analizowanie obrazów i filmów), Language (rozumienie i generowanie tekstu), Speech (konwertowanie dźwięku na tekst i tekstu na dźwięk) oraz Decision (personalizowanie zawartości i wykrywanie anomalii). Wszystkie te usługi są dostępne za pośrednictwem interfejsów API REST, zestawów SDK lub witryny Azure Portal.

Usługi AI można aprowizować na dwa sposoby. Zasób wielousługowy (w portalu nazywany Azure AI Services) zapewnia dostęp do większości interfejsów API za pośrednictwem jednego punktu końcowego i klucza API — jest to wygodne podczas tworzenia i eksperymentowania. Zasób pojedynczej usługi (np. Computer Vision lub Text Analytics) zapewnia dostęp tylko do jednego interfejsu API, z oddzielnym rozliczaniem i limitami przydziału dla tej usługi. W środowiskach produkcyjnych często preferuje się zasoby pojedynczej usługi, aby kontrolować wydatki i stosować zasady zabezpieczeń właściwe dla danej usługi.

Kategoria Azure AI Vision obejmuje kilka interfejsów API. Computer Vision analizuje obrazy pod kątem obiektów, opisów scen, tekstu (OCR) i treści dla dorosłych. Custom Vision umożliwia wytrenowanie własnego modelu klasyfikacji obrazów lub wykrywania obiektów za pomocą zaledwie kilkudziesięciu oznaczonych obrazów. Face API wykrywa twarze i emocje (z mechanizmami kontroli odpowiedzialnego użycia). Azure AI Video Indexer wyodrębnia z plików wideo informacje, w tym rozpoznawanie mówców, transkrypcję i wykrywanie scen.

Kategoria Azure AI Language zapewnia funkcje analizy tekstu. Text Analytics oferuje analizę tonacji, wyodrębnianie kluczowych fraz, rozpoznawanie nazwanych jednostek (NER) i wykrywanie języka. Azure AI Translator tłumaczy tekst między ponad 100 językami za pomocą pojedynczego wywołania API. Azure AI Language Understanding (CLU) klasyfikuje intencje użytkowników na podstawie języka naturalnego, umożliwiając tworzenie aplikacji konwersacyjnych. Azure AI Question Answering tworzy bazę wiedzy z często zadawanych pytań i dokumentów, aby odpowiadać na pytania zadawane w języku naturalnym.

Kategoria Azure AI Speech łączy dźwięk i tekst. Funkcja Speech to Text (STT) transkrybuje mowę w czasie rzeczywistym lub w trybie wsadowym, obsługując ponad 100 języków i niestandardowe modele akustyczne dla terminologii charakterystycznej dla danej dziedziny. Funkcja Text to Speech (TTS) konwertuje tekst na naturalnie brzmiący dźwięk za pomocą głosów neuronowych w ponad 140 językach. Speaker Recognition identyfikuje lub weryfikuje osoby na podstawie ich głosu. Speech Translation łączy STT z Translator, zapewniając tłumaczenie mowy na mowę w czasie rzeczywistym.

Kategoria Decision obejmuje usługi personalizacji i wykrywania anomalii. Azure AI Anomaly Detector analizuje dane szeregów czasowych (np. metryki serwerów i dane sprzedażowe) oraz automatycznie identyfikuje anomalie bez konieczności korzystania z oznaczonego zbioru treningowego — uczy się prawidłowych wzorców na podstawie danych historycznych. Azure AI Personalizer (w niektórych widokach jest obecnie częścią Content Safety) wykorzystuje uczenie ze wzmocnieniem do wyboru najlepszego elementu treści do wyświetlenia użytkownikowi na podstawie cech kontekstowych. Obie usługi są przydatne w scenariuszach operacyjnych i analityki biznesowej.

Wszystkie interfejsy API Azure AI Services działają według tego samego schematu: należy uzyskać adres URL punktu końcowego i klucz API (lub użyć tożsamości zarządzanej) z zasobu, a następnie wysłać żądanie HTTP POST z ładunkiem i nagłówkiem uwierzytelniania. Interfejs API zwraca odpowiedź JSON zawierającą wyniki. Firma Microsoft udostępnia zestawy SDK klienta dla platform .NET, Python, JavaScript, Java i Go, które opakowują wywołania REST za pomocą typowanych obiektów i mechanizmu ponawiania prób. Dzięki temu integracja jest prosta i nie wymaga ręcznej obsługi protokołu HTTP.

Firma Microsoft tworzy Azure AI Services w oparciu o sześć zasad odpowiedzialnej sztucznej inteligencji: Sprawiedliwość (AI nie powinna dyskryminować), Niezawodność i bezpieczeństwo (AI powinna działać zgodnie z oczekiwaniami), Prywatność i bezpieczeństwo (dane powinny być chronione), Włączanie (AI powinna wzmacniać możliwości wszystkich osób), Przejrzystość (działanie AI powinno być zrozumiałe) oraz Odpowiedzialność (ludzie powinni odpowiadać za decyzje podejmowane przez AI). Dostęp do niektórych funkcji, takich jak funkcje identyfikacji w Face API, wymaga złożenia formalnego wniosku do firmy Microsoft.

Usługi Azure AI Services są rozliczane w modelu płatności za użycie: płacą Państwo za wywołanie API, przeanalizowany obraz, przetłumaczony znak lub minutę transkrybowanego dźwięku. Każda usługa i warstwa ma własną jednostkę rozliczeniową. Większość usług oferuje bezpłatną warstwę (F0) z ograniczonymi limitami wywołań (np. 5000 wywołań miesięcznie w przypadku Text Analytics), co umożliwia bezpłatne eksperymentowanie. Warstwa Standard (S0) zapewnia wyższe limity i nadaje się do środowisk produkcyjnych. Koszty rosną liniowo wraz z użyciem — nie ma stałych miesięcznych zobowiązań.

Zasoby usług AI należy zabezpieczać w sposób wykraczający poza domyślne uwierzytelnianie za pomocą klucza API. Do sprawdzonych metod należą: przechowywanie kluczy API w Azure Key Vault, a nie w kodzie; używanie tożsamości zarządzanej w celu uzyskiwania dostępu do zasobu bez klucza; ograniczenie dostępu do sieci za pomocą prywatnych punktów końcowych, tak aby zasób był dostępny wyłącznie z sieci VNet; oraz włączenie rejestrowania diagnostycznego w celu przeprowadzania audytu wszystkich wywołań API na potrzeby zgodności. Klucze API należy regularnie wymieniać — każdy zasób ma dwa klucze, co umożliwia ich wymianę bez przestojów.

Wiele usług Azure AI Services można wdrożyć jako kontenery Docker w scenariuszach wymagających rezydencji danych (przetwarzanie odbywa się lokalnie lub w określonym regionie) albo w środowiskach odłączonych. Należy pobrać obraz kontenera z Microsoft Container Registry, uruchomić go z użyciem klucza API i konfiguracji punktu końcowego, a następnie wywoływać interfejs REST usługi pod adresem localhost. Kontener łączy się z platformą Azure w celu rozliczania — całe użycie jest nadal śledzone i rozliczane w ramach subskrypcji platformy Azure, ale przetwarzanie AI odbywa się lokalnie.

Sprawdź swoją wiedzę na temat zagadnień Microsoft Azure Fundamentals (AZ-900) omówionych w tej lekcji.

W tej lekcji poznali Państwo następujące zagadnienia: Azure AI Services zapewnia gotowe funkcje AI w dziedzinach analizy obrazów, języka, mowy i podejmowania decyzji, dostępne za pośrednictwem interfejsów REST API; zasób wielousługowy upraszcza dostęp dzięki jednemu punktowi końcowemu i kluczowi; wszystkie usługi należy zabezpieczać za pomocą Key Vault i tożsamości zarządzanej, a także można je wdrażać jako kontenery, aby spełnić wymagania dotyczące rezydencji danych. W dalszej części zajmiemy się praktycznym wywoływaniem interfejsów API Language i Vision.