💰 Реранкер за $10/мес переписал мой RAG — рассказываю

💰 Реранкер за $10/мес переписал мой RAG — рассказываю

Раньше искал так: embeddings → берём топ-10 → шлём в LLM. Точность на клиентской валидации — 78%.

Добавил Cohere Rerank v3:
🔸 embeddings → топ-30 → реранкер → топ-5 → LLM
🔸 задержка выросла на 200 мс
🔸 стоимость реранка — $0.002 за запрос, при 5к запросов в мес — $10

Точность — 91%. Клиент довольный, я тоже.

Реранкер — это микроскопический слой, но он вычищает всё, что embeddings не додумали. Пропустить его в проде — терять 10-15% точности задарма.
Рекомендую всем — стоимость смешная, выигрыш ощутимый.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про RAG-системы 📚