IT Томск
IT Томск
@itnews_tomsk

🧠 Одна строка в промпте может вырубить кеш LLM почти в ноль

У больших моделей кеш срабатывает только пока совпадает префикс запроса. Добавили в системный промпт что-то вроде `Current time: {datetime.now()}` — и всё, дальше каждый вызов оплачивается как новый. Автор замерил это на живых запросах DeepSeek: ноль попаданий в кеш против 1152 токенов из 1180. На профиле 97 877 вызовов Claude Code — 98% токенов пришли из кеша.

Айтишникам Томска это полезно проверить у себя: одна «безобидная» строка в промпте может заметно раздувать счета и тормозить агента. Инструмент для проверки уже открыт на GitHub.

IT Томск — t.me/itnews_tomsk
Источники:
Этот пост опубликован в Telegram-канале IT Томск (@itnews_tomsk). Все его публикации — на странице канала.
Открыть в Telegram

Свежее в разделе «Сервисы и инфраструктура»

Все каналы раздела →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.