Обзор Azure Cognitive Services

Azure AI Services (ранее Azure Cognitive Services) — это набор готовых API искусственного интеллекта, позволяющих разработчикам добавлять интеллектуальные функции в приложения без обучения моделей машинного обучения с нуля. Портфолио охватывает четыре области: зрение (анализ изображений и видео), язык (понимание и создание текста), речь (преобразование аудио в текст и обратно) и принятие решений (персонализация содержимого и обнаружение аномалий). Все они доступны через REST API, SDK или портал Azure.

Вы можете подготовить службы Azure ИИ двумя способами. ресурс для нескольких служб (называемый на портале Azure AI Services) предоставляет доступ к большинству API через одну конечную точку и один ключ API — это удобно для разработки и экспериментов. ресурс одной службы (например, Computer Vision или Text Analytics) предоставляет доступ только к одному API, с отдельными ограничениями на оплату и квоты для каждой службы. В рабочей среде часто предпочитают ресурсы одной службы, чтобы контролировать расходы и применять политики безопасности для конкретных служб.

Категория Azure ИИ Vision включает несколько API. Computer Vision анализирует изображения, выявляя объекты, описывая сцены и текст (OCR), а также определяя наличие материалов для взрослых. Custom Vision позволяет обучить собственную модель классификации изображений или обнаружения объектов всего на нескольких десятках размеченных изображений. Face API обнаруживает лица и эмоции (с механизмами контроля доступа для ответственного использования). Azure ИИ Video Indexer извлекает сведения из видеофайлов, включая распознавание говорящих, расшифровку речи и обнаружение сцен.

Категория Azure ИИ Language предоставляет возможности анализа текста. Text Analytics поддерживает анализ тональности, извлечение ключевых фраз, распознавание именованных сущностей (NER) и определение языка. Azure ИИ Translator переводит текст между более чем 100 языками с помощью одного вызова API. Azure ИИ Language Understanding (CLU) классифицирует намерения пользователей по естественному языку для создания диалоговых приложений. Azure ИИ Question Answering создает базу знаний на основе часто задаваемых вопросов и документов, чтобы отвечать на вопросы на естественном языке.

Категория Azure ИИ Speech объединяет аудио и текст. Преобразование речи в текст (STT) расшифровывает устную речь в реальном времени или в пакетном режиме, поддерживает более 100 языков и пользовательские акустические модели для специализированной терминологии. Преобразование текста в речь (TTS) преобразует текст в естественно звучащее аудио с помощью нейросетевых голосов на более чем 140 языках. Распознавание говорящего идентифицирует людей или подтверждает их личность по голосу. Перевод речи объединяет STT с Translator для перевода речи в речь в реальном времени.

Категория Decision включает службы для персонализации и обнаружения аномалий. Azure ИИ Anomaly Detector анализирует данные временных рядов (например, показатели серверов и объемы продаж) и автоматически выявляет аномалии без размеченного набора данных для обучения — служба изучает обычные закономерности по историческим данным. Azure ИИ Personalizer (в некоторых представлениях теперь входит в Content Safety) использует обучение с подкреплением, чтобы выбрать наиболее подходящий элемент содержимого для показа пользователю на основе контекстных признаков. Обе службы полезны в сценариях эксплуатации и бизнес-аналитики.

Все API служб Azure ИИ работают по одному принципу: получите URL конечной точки и ключ API (или используйте управляемое удостоверение) из своего ресурса, затем отправьте HTTP-запрос POST с данными и заголовком аутентификации. API возвращает ответ JSON с результатами. Microsoft предоставляет клиентские пакеты SDK для NET, Python, JavaScript, Java и Go, которые оборачивают вызовы REST типизированными объектами и логикой повторных попыток, упрощая интеграцию без ручной обработки HTTP.

Microsoft создает службы Azure ИИ на основе шести принципов ответственного ИИ: справедливость (ИИ не должен дискриминировать), надежность и безопасность (ИИ должен работать ожидаемым образом), конфиденциальность и защита (данные должны быть защищены), инклюзивность (ИИ должен помогать каждому), прозрачность (принцип работы ИИ должен быть понятен) и подотчетность (люди должны нести ответственность за решения ИИ). Для доступа к некоторым возможностям, например к функциям идентификации Face API, необходимо предварительно подать официальную заявку в Microsoft.

Стоимость служб Azure ИИ рассчитывается по модели оплаты за использование: вы платите за каждый вызов API, каждое проанализированное изображение, каждый переведенный символ или каждую минуту расшифрованного аудио. Для каждой службы и уровня предусмотрена собственная единица тарификации. Для большинства служб доступен бесплатный уровень (F0) с ограниченными квотами вызовов (например, 5 000 вызовов Text Analytics в месяц), поэтому эксперименты не требуют оплаты. Стандартный уровень (S0) предоставляет более высокие квоты и подходит для рабочей среды. Стоимость линейно зависит от объема использования — фиксированных ежемесячных обязательств нет.

Ресурсы служб ИИ следует защищать не только стандартной аутентификацией по ключу API. Рекомендуется хранить ключи API в Azure Key Vault, а не в коде, использовать управляемое удостоверение для доступа к ресурсу без ключа, ограничивать сетевой доступ с помощью частных конечных точек, чтобы ресурс был доступен только из вашей виртуальной сети, и включать диагностическое журналирование для аудита всех вызовов API в целях соблюдения требований. Ключи API следует регулярно менять — у каждого ресурса есть два ключа, что позволяет выполнять замену без простоя.

Многие службы Azure ИИ можно развернуть в виде контейнеров Docker для сценариев, требующих соблюдения требований к размещению данных (обработка выполняется локально или в определенном регионе), а также для изолированных сред. Вы загружаете образ контейнера из реестра контейнеров Microsoft, запускаете его с ключом API и настройками конечной точки, а затем вызываете REST API службы по адресу localhost. Контейнер связывается с Azure для расчета оплаты — все использование по-прежнему отслеживается и оплачивается через вашу подписку Azure, но обработка ИИ выполняется локально.

Проверьте, насколько хорошо Вы усвоили концепции Microsoft Azure Fundamentals (AZ-900) из этого урока.

В этом уроке Вы узнали, что Azure AI Services предоставляет готовые возможности ИИ в областях анализа изображений, работы с языком, речи и принятия решений через REST API; ресурс для нескольких служб упрощает доступ с помощью одной конечной точки и одного ключа; все службы следует защищать с помощью Key Vault и управляемого удостоверения, а также можно развертывать в контейнерах для соблюдения требований к размещению данных. Далее мы на практике рассмотрим вызовы API Language и Vision.