🎁 Как чанкить документы — 4 правила, которые чиню в 80% чужих RAG

🎁 Как чанкить документы — 4 правила, которые чиню в 80% чужих RAG

🔸 Не режь по фиксированной длине. Режь по смыслу — по заголовкам, параграфам, спискам. Кто игнорирует — теряет 20-30% точности.
🔸 Оверлап 10-20% от длины чанка. Иначе смысл рвётся посередине предложения.
🔸 Сохраняй метаданные: страницу PDF, заголовок раздела, автора. Пригодится для фильтров и ссылок.
🔸 Отдельно чанкь таблицы. Обычный сплиттер режет строки и убивает смысл. Используй unstructured или самопальные экстракторы.

Проверял на 15 клиентских RAG-проектах — правила универсальные. Меняешь чанкинг — точность улучшается сама, без замены модели.
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про RAG-системы 📚