Кэширование и ограничение частоты для вышестоящих сервисов

Активная модель может снова и снова вызывать один и тот же инструмент. Без ограничений она способна перегрузить базу данных или API, стоящие за ним. ⚠️

Кэш хранит недавние результаты, поэтому идентичный запрос возвращается мгновенно, вместо того чтобы повторно обращаться к внешнему источнику.

Создавайте ключ кэша из аргументов инструмента: тогда тот же город или идентификатор повторно использует сохранённый ответ, а для новых данных выполняется свежий запрос.

Задайте время жизни, чтобы кэшированные данные устаревали. Устаревшие ответы обновляются, поэтому результаты остаются быстрыми и достаточно актуальными.

Кэшируйте идемпотентные операции чтения, но никогда не кэшируйте действия с побочными эффектами. Вы ведь не хотите, чтобы кэшированная запись незаметно пропустила реальное изменение.

Ограничение частоты задаёт, как часто может выполняться инструмент, поэтому вышедшая из-под контроля модель не сможет отправить тысячи запросов одним всплеском.

Распространённый подход — маркерное ведро: каждый вызов расходует маркер, маркеры со временем пополняются, а пустое ведро означает, что нужно подождать.

Согласуйте своё ограничение с квотой API. Если оставаться ниже его квоты, можно избежать ответов 429 и ограничений доступа.

Если внешний сервис отвечает 429 Too Many Requests, сделайте паузу и повторите запрос позже с увеличивающейся задержкой, вместо того чтобы усиливать нагрузку.

Семафор ограничивает количество вызовов к серверу одновременно, сглаживая всплески, чтобы внешний сервис никогда не был перегружен.

Если Вы ограничили частоту, прямо сообщите модели, что для неё действует ограничение частоты, чтобы она могла подождать или выбрать другой подход.

Вы защитили внешние сервисы с помощью кэша, ограничений частоты и увеличивающихся задержек, обезопасив серверы от неконтролируемых вызовов модели. 🎯