Шаблоны архитектуры систем искусственного интеллекта

Производственная система искусственного интеллекта — это гораздо больше, чем файл модели. Она включает конвейеры обработки данных, хранилища признаков, инфраструктуру обслуживания запросов и мониторинг. Архитектурные шаблоны — это проверенные схемы надёжной сборки этих компонентов.

Системам искусственного интеллекта часто требуется и то и другое:

• Пакетная обработка для точных и полных результатов по историческим данным
• Обработка в реальном времени для актуальных результатов с малой задержкой по новым событиям

Согласование этих двух режимов — постоянная архитектурная задача.

Лямбда-архитектура решает эту задачу с помощью двух параллельно работающих слоёв: слоя пакетной обработки, который заново вычисляет точные представления по всем данным, и скоростного слоя, который обрабатывает недавние данные с малой задержкой. Слой обслуживания запросов объединяет оба результата для запросов.

Слой пакетной обработки периодически обрабатывает весь набор данных заново, чтобы получать достоверные и корректные результаты, например выполнять ночной пересчёт признаков. Он точен, но работает с большой задержкой, поэтому не может учитывать события, произошедшие за последние несколько секунд.

Скоростной слой обрабатывает потоковые данные почти в реальном времени, закрывая промежуток с момента последнего запуска пакетной обработки. Он жертвует частью точности ради актуальности, а его результаты со временем заменяются результатами следующего пакетного запуска.

Хранилище признаков — это центральная система управления признаками машинного обучения. Она решает критически важную проблему: обучение и обслуживание запросов должны использовать одинаковые определения признаков. Иначе модель получает в производственной среде другие входные данные, чем те, на которых она обучалась (расхождение между обучением и обслуживанием).

Офлайн-хранилище содержит большие объёмы исторических значений признаков, обычно в виде файлов parquet в озере данных или хранилище данных. Оно используется для обучения и пакетного получения предсказаний, где пропускная способность важнее задержки.

Онлайн-хранилище содержит последние значения признаков в базе данных с малой задержкой, например Redis. Во время обслуживания запросов модель получает признаки отсюда за миллисекунды, используя те же определения, что и офлайн-хранилище.

Хранилище признаков гарантирует, что признак, вычисленный для обучения (офлайн), совпадает с тем, который считывается при обслуживании запросов (онлайн). Эта согласованность устраняет один из основных источников незаметных ошибок в производственной среде и составляет главную ценность хранилища признаков.

Прежде чем доверить новую модель производственной среде, запустите её в теневом режиме: она получает реальный трафик и делает предсказания, но эти предсказания записываются в журнал, а не показываются пользователям. Вы сравниваете их с результатами текущей модели без какого-либо риска для пользователей.

Если теневой режим показывает, что новая модель точна и стабильна на реальном трафике, Вы переводите её в рабочий режим, часто выполняя канареечный выпуск. Теневой режим вместе с канареечным выпуском обеспечивает безопасный поэтапный переход от обученной модели к полному производственному трафику.

Проверьте свои знания об архитектуре.

Вы изучили архитектурные шаблоны систем искусственного интеллекта:

• Лямбда-архитектура: слой пакетной обработки (точный) и скоростной слой (актуальный)
• Хранилище признаков: офлайн-хранилище parquet для обучения, онлайн-хранилище Redis для обслуживания запросов и согласованные определения
• Теневой режим проверяет новую модель на реальном трафике до её перевода в рабочий режим