Interfejsy API Language i Vision w praktyce

Computer Vision API (/vision/v3.2/analyze) analizuje adres URL obrazu lub strumień binarny i zwraca rozbudowaną odpowiedź JSON zawierającą wykryte obiekty, opis sceny w języku naturalnym, dominujące kolory oraz informację, czy obraz zawiera treści dla dorosłych. Należy określić, które cechy wizualne mają zostać użyte — Categories, Description, Objects, Tags, Faces, Color, Adult — aby kontrolować zakres obliczeń wykonywanych przez interfejs API i płacić tylko za wykorzystane funkcje.

Read API (/vision/v3.2/read/analyze) to zalecany punkt końcowy OCR do wyodrębniania tekstu z obrazów i plików PDF. W przeciwieństwie do starszego punktu końcowego /ocr Read API działa asynchronicznie — należy przesłać obraz, odebrać adres URL operacji, odpytywać go do czasu zakończenia, a następnie pobrać wynik. Interfejs obsługuje tekst drukowany i odręczny w 164 językach, zachowuje kolejność odczytu bloków tekstu oraz lepiej radzi sobie z obróconymi obrazami i obrazami o niskiej rozdzielczości niż synchroniczny punkt końcowy OCR.

Punkt końcowy Sentiment Analysis (/text/analytics/v3.1/sentiment) zwraca etykietę tonacji (pozytywna, negatywna, neutralna lub mieszana) oraz wynik pewności z zakresu od 0 do 1 dla każdego przesłanego dokumentu. Udostępnia również funkcję opinion mining (analizę tonacji opartą na aspektach), która identyfikuje konkretne aspekty produktu lub usługi, do których odnosi się recenzent, oraz tonację dotyczącą każdego aspektu — na przykład wykrywa, że recenzja restauracji jest pozytywna w odniesieniu do jedzenia, ale negatywna w odniesieniu do obsługi.

Wyodrębnianie kluczowych fraz identyfikuje główne tematy i pojęcia w tekście, zwracając je jako listę fraz. W przypadku wiadomości e-mail do działu obsługi klienta mogą to być na przykład frazy opóźnienie dostawy, potwierdzenie zamówienia i prośba o zwrot pieniędzy. Funkcja ta jest przydatna do automatycznego oznaczania zgłoszeń do pomocy technicznej, tworzenia podsumowań dokumentów na potrzeby indeksowania wyszukiwania lub ustalania priorytetów treści w bazie wiedzy. Interfejs API przetwarza do 1000 dokumentów na żądanie i obsługuje ponad 10 języków.

Rozpoznawanie nazwanych jednostek (NER) identyfikuje i kategoryzuje wzmianki o jednostkach w tekście — takich jak Person, Organisation, Location, DateTime, Quantity, URL i Email. Wariant wykrywania danych osobowych (PII, Personal Identifiable Information) wyszukuje i może redagować poufne dane, takie jak numery kart kredytowych, numery ubezpieczenia społecznego i numery telefonów. Wykrywanie danych osobowych jest przydatne do automatycznej anonimizacji danych przed ich zapisaniem lub przetwarzaniem na potrzeby analizy.

Translator API (/translate) konwertuje tekst między ponad 100 językami za pomocą pojedynczego wywołania REST. Należy przekazać tekst źródłowy, określić co najmniej jeden kod języka docelowego i odebrać przetłumaczony tekst wraz z wykrytym językiem źródłowym. Interfejs API udostępnia również transliterację (konwersję pisma, np. z alfabetu arabskiego na łaciński) oraz wyszukiwanie w słowniku w celu uzyskania alternatywnych tłumaczeń na poziomie słów. Translator obsługuje przetwarzanie wsadowe do 100 dokumentów na żądanie, dzięki czemu efektywnie nadaje się do lokalizacji treści na dużą skalę.

Azure AI Custom Vision umożliwia wytrenowanie modelu klasyfikacji obrazów lub wykrywania obiektów na podstawie własnych oznaczonych obrazów, bez pisania kodu ML. W portalu Custom Vision należy przesłać obrazy, oznaczyć je i kliknąć przycisk Train. Usługa trenuje model i zwraca miary skuteczności (Precision, Recall, AP). Następnie można przetestować model na nowych obrazach i opublikować go jako punkt końcowy predykcji. Modele można również eksportować w formatach ONNX lub CoreML na potrzeby wnioskowania na urządzeniu.

Conversational Language Understanding (CLU) jest następcą LUIS. Należy zdefiniować intencje (czego chce użytkownik, np. BookFlight, GetWeather) oraz jednostki (dane do wyodrębnienia, np. miasto docelowe i data podróży), podać przykładowe wypowiedzi dla każdej intencji, wytrenować model i wdrożyć go. Aplikacje wywołują punkt końcowy predykcji CLU w celu sklasyfikowania danych wejściowych użytkownika jako właściwej intencji i wyodrębnienia jednostek. CLU zapewnia warstwę rozumienia wirtualnych asystentów i chatbotów.

Interfejsy API Azure AI Services zwracają standardowe kody stanu HTTP. 400 Bad Request oznacza nieprawidłowo sformatowane dane wejściowe (np. zbyt długi dokument — Text Analytics obsługuje do 5120 znaków na dokument). 401 Unauthorized oznacza nieprawidłowy lub brakujący klucz API. 429 Too Many Requests oznacza przekroczenie limitu usługi — należy zaimplementować wykładnicze wycofywanie z losowym opóźnieniem i ponawianie prób. W środowisku produkcyjnym warto rozważyć dedykowany zasób (a nie warstwę bezpłatną) oraz zażądać zwiększenia limitów za pośrednictwem portalu Azure, jeśli potrzebna jest większa przepustowość.

Azure AI Services można integrować z Azure Logic Apps za pomocą wbudowanych łączników, co umożliwia tworzenie przepływów pracy AI bez kodu. Przykładowy przepływ: nadejście nowej wiadomości e-mail → wyodrębnienie załączników → wywołanie Read API usługi Computer Vision w celu wykonania OCR tekstu z załączników → wywołanie Text Analytics w celu wyodrębnienia kluczowych fraz → zapisanie wyników na liście programu SharePoint. Logic Apps zawiera łączniki Cognitive Services (Language, Vision, Translator), które obsługują uwierzytelnianie i wywołania API bez konieczności pisania kodu żądań REST.

Firma Microsoft publikuje oficjalne pakiety języka Python dla każdej usługi AI. Należy zainstalować azure-ai-textanalytics dla interfejsów API Language lub azure-cognitiveservices-vision-computervision dla usługi Vision. SDK automatycznie obsługuje uwierzytelnianie, serializację i logikę ponawiania prób. Uwierzytelnianie odbywa się za pomocą AzureKeyCredential lub DefaultAzureCredential (z obsługą zarządzanej tożsamości). W kodzie produkcyjnym zaleca się korzystanie z SDK zamiast bezpośrednich żądań HTTP, ponieważ zapewnia ono bezpieczeństwo typów i ułatwia aktualizacje przy zmianach wersji interfejsu API.

Sprawdź swoją znajomość zagadnień Microsoft Azure Fundamentals (AZ-900) omówionych w tej lekcji.

W tej lekcji poznali Państwo: interfejs Computer Vision API analizuje obrazy pod kątem obiektów, opisów i tekstu rozpoznanego za pomocą OCR (z użyciem asynchronicznego interfejsu Read API), interfejsy Text Analytics APIs wyodrębniają z tekstu informacje o tonie wypowiedzi, kluczowe frazy i dane osobowe (PII), a Translator API tłumaczy tekst między ponad 100 językami w ramach jednego wywołania. W następnej części omówimy Azure Machine Learning Studio, służące do trenowania i wdrażania niestandardowych modeli ML.