Чем LLMOps отличается от классического MLOps

Вы уже знакомы с MLOps. Операции с LLM — это та же дисциплина, применённая к большим языковым моделям, где подсказки и контекст не менее важны, чем веса. 🤖

В классическом машинном обучении вы обучаете модель. В операциях с LLM вы обычно вызываете предварительно обученную модель через API, поэтому основная работа смещается к составлению подсказок и оркестрации.

Одна и та же модель может давать совершенно разные ответы в зависимости от формулировки. Поэтому подсказка становится полноценным артефактом: вы версионируете, тестируете и проверяете её так же, как код.

Отправьте одну и ту же подсказку дважды — и можете получить разный текст. Из-за этой недетерминированности нельзя проверять точное равенство так, как это делают классические тесты.

Параметр температура позволяет выбирать между творческим подходом и единообразием. При меньших значениях результаты стабильнее, что значительно упрощает оценку и отладку.

Классические модели читают табличные признаки. Приложения на основе LLM добавляют документы и историю в контекстное окно, поэтому проектирование контекста заменяет проектирование признаков.

Для свободного текста нельзя просто вычислить точность. Операции с LLM опираются на оценивание по критериям, эталонным ответам или с помощью другой модели, выступающей в роли судьи.

Каждый запрос тарифицируется по входным и выходным токенам. Отслеживание использования токенов становится ключевым операционным показателем, поскольку стоимость напрямую растёт вместе с трафиком.

Генерация выполняется медленно, а её скорость зависит от длины результата. Задержка определяется количеством токенов, которые выдаёт модель, поэтому потоковая передача ответов помогает пользователям не ждать.

LLM могут выдумывать факты или раскрывать данные. Операции с LLM добавляют защитные ограничения для входных данных и результатов как стандартный уровень, а не как последующую меру.

Развёртывание, мониторинг и улучшение по-прежнему важны. Меняется инструментарий: к привычному стеку MLOps добавляются реестры подсказок, трассировка, оценивание и защитные ограничения.

Вы увидели, как операции с LLM смещают внимание с обучения на подсказки, контекст, недетерминированные результаты, токены и безопасность. Жизненный цикл тот же, инструменты новые. Отличное начало! 🎉