У больших моделей кеш срабатывает только пока совпадает префикс запроса. Добавили в системный промпт что-то вроде `Current time: {datetime.now()}` — и всё, дальше каждый вызов оплачивается как новый. Автор замерил это на живых запросах DeepSeek: ноль попаданий в кеш против 1152 токенов из 1180. На профиле 97 877 вызовов Claude Code — 98% токенов пришли из кеша.
Айтишникам Томска это полезно проверить у себя: одна «безобидная» строка в промпте может заметно раздувать счета и тормозить агента. Инструмент для проверки уже открыт на GitHub.
IT Томск — t.me/itnews_tomsk
IT Томск
@itnews_tomsk
🧠 Одна строка в промпте может вырубить кеш LLM почти в ноль
Источники:
Этот пост опубликован в Telegram-канале IT Томск (@itnews_tomsk). Все его публикации — на странице канала.
Открыть в Telegram