Практическое использование API Language и Vision

Computer Vision API (/vision/v3.2/analyze) анализирует URL-адрес изображения или двоичный поток и возвращает подробный ответ JSON, содержащий обнаруженные объекты, описание сцены на естественном языке, преобладающие цвета и сведения о наличии материалов для взрослых. Вы указываете нужные визуальные признаки — Categories, Description, Objects, Tags, Faces, Color, Adult, — чтобы управлять вычислениями API и платить только за используемые возможности.

Read API (/vision/v3.2/read/analyze) — рекомендуемая конечная точка OCR для извлечения текста из изображений и PDF-файлов. В отличие от старой конечной точки /ocr, Read API работает асинхронно: Вы отправляете изображение, получаете URL операции, опрашиваете его до завершения, а затем извлекаете результат. API поддерживает печатный и рукописный текст на 164 языках, сохраняет порядок чтения текстовых блоков и лучше обрабатывает повернутые изображения и изображения низкого разрешения, чем синхронная конечная точка OCR.

Конечная точка анализа тональности (/text/analytics/v3.1/sentiment) возвращает для каждого отправленного документа метку тональности (положительная, отрицательная, нейтральная или смешанная) и показатель уверенности от 0 до 1. Она также поддерживает извлечение мнений (анализ тональности на уровне аспектов), определяя, какие именно характеристики продукта или службы упоминает автор отзыва и какова тональность каждой характеристики — например, выявляя, что отзыв о ресторане положительно оценивает еду, но отрицательно — обслуживание.

Извлечение ключевых фраз определяет основные темы и понятия в тексте и возвращает их в виде списка фраз. Например, для письма в службу поддержки оно может вернуть фразы задержка доставки, подтверждение заказа и запрос на возврат средств. Это полезно для автоматической маркировки обращений в службу поддержки, составления кратких версий документов для поисковой индексации или расстановки приоритетов содержимого в базе знаний. API обрабатывает до 1 000 документов за один запрос и поддерживает более 10 языков.

Распознавание именованных сущностей (NER) выявляет и классифицирует упоминания сущностей в тексте, например Person, Organisation, Location, DateTime, Quantity, URL и Email. Вариант обнаружения PII (персональных идентифицирующих данных) специально находит и может скрывать конфиденциальные сведения, такие как номера банковских карт, номера социального страхования и номера телефонов. Обнаружение PII полезно для автоматической анонимизации данных перед их хранением или обработкой в целях аналитики.

Translator API (/translate) преобразует текст между более чем 100 языками за один вызов REST. Вы передаете исходный текст, указываете один или несколько кодов целевых языков и получаете переведенный текст с определенным исходным языком. API также предоставляет транслитерацию (преобразование письменности, например арабских символов в латинские) и поиск в словаре для получения вариантов перевода на уровне слов. Translator поддерживает пакетную обработку до 100 документов за запрос, что делает его эффективным для локализации больших объемов содержимого.

Azure ИИ Custom Vision позволяет обучить модель классификации изображений или обнаружения объектов на собственных размеченных изображениях без написания кода машинного обучения. На портале Custom Vision Вы загружаете изображения, добавляете к ним метки и нажимаете Train. Служба обучает модель и возвращает показатели качества (Precision, Recall, AP). Затем Вы проверяете модель на новых изображениях и публикуете ее как конечную точку прогнозирования. Модели также можно экспортировать в формате ONNX или CoreML для выполнения прогнозов на устройстве.

Conversational Language Understanding (CLU) — преемник LUIS. Вы определяете намерения (чего хочет пользователь, например BookFlight или GetWeather) и сущности (данные для извлечения, например город назначения или дату поездки), добавляете примеры высказываний для каждого намерения, обучаете модель и развертываете ее. Приложения вызывают конечную точку прогнозирования CLU, чтобы классифицировать ввод пользователя по правильному намерению и извлекать сущности. CLU обеспечивает уровень понимания виртуальных помощников и чат-ботов.

API служб Azure ИИ возвращают стандартные коды состояния HTTP. 400 Bad Request означает некорректно сформированный ввод (например, слишком длинный документ — Text Analytics поддерживает до 5 120 символов в документе). 401 Unauthorized означает недействительный или отсутствующий ключ API. 429 Too Many Requests означает превышение квоты службы — реализуйте экспоненциальную задержку с разбросом и повторяйте запрос. Для рабочей среды рассмотрите выделенный ресурс (не бесплатный уровень) и запросите увеличение квоты через портал Azure, если Вам нужна более высокая пропускная способность.

Службы Azure ИИ можно интегрировать с Azure Logic Apps с помощью встроенных соединителей, создавая рабочие процессы ИИ без написания кода. Например: при поступлении нового письма → извлечь вложения → вызвать Read API службы Computer Vision для распознавания текста во вложениях → вызвать Text Analytics для извлечения ключевых фраз → записать результаты в список SharePoint. Logic Apps включает соединители для Cognitive Services (Language, Vision, Translator), которые управляют аутентификацией и вызовами API без написания кода REST-запросов.

Microsoft публикует официальные пакеты Python для каждого AI Service. Установите azure-ai-textanalytics для языковых API или azure-cognitiveservices-vision-computervision для работы с изображениями. SDK автоматически обрабатывает аутентификацию, сериализацию и логику повторных попыток. Для аутентификации используйте AzureKeyCredential или DefaultAzureCredential (с поддержкой управляемых удостоверений). В рабочем коде предпочтительно использовать SDK, а не необработанные HTTP-запросы, поскольку SDK обеспечивает проверку типов и упрощает обновление при изменении версий API.

Проверьте своё понимание концепций Microsoft Azure Fundamentals (AZ-900), рассмотренных в этом уроке.

В этом уроке Вы узнали, что API компьютерного зрения анализирует изображения, выявляя объекты и составляя описания, а также извлекает текст с помощью OCR (через асинхронный API Read); API Text Analytics извлекают из текста тональность, ключевые фразы и PII; а API Translator преобразует текст между более чем 100 языками за один вызов. Далее мы рассмотрим Azure Machine Learning Studio для обучения и развёртывания пользовательских моделей ML.