Хоменок про дообучение LLM 🧠

Хоменок про дообучение LLM 🧠

LoRA, QLoRA, DPO, RLHF-lite. Как учу локальные модели под конкретные задачи и во сколько это встаёт по железу. Fine-tune моделей руками. Инсайдерский взгляд без корпоративного глянца — где реально работает, где обещают золото, а по факту сливают. Мои кейс

3 подписчиков
19 ноября 2026 последний пост
📂 Авторские блоги и инсайды арбитража
сеть public.tg Это один из 11362 каналов редакционной сети public.tg про CPA, арбитраж, iGaming, Nutra и AI-инструменты. Купить рекламу в этом канале · все каналы сети

О канале Хоменок про дообучение LLM 🧠

Дообучению локальных языковых моделей посвящены разборы LoRA, QLoRA, DPO и RLHF-lite, практические инструкции по fine-tuning, работе с датасетами, оптимизации видеопамяти, оценке качества и деплою. Хоменок про дообучение LLM пригодится тем, кто настраивает модели под конкретные задачи и хочет понимать причины ошибок, забывания и галлюцинаций.

Последний пост в Telegram
19 ноября 2026
Постов в неделю в Telegram
≈ 20,4
Первая публикация в архиве
30 августа 2026
Последняя публикация в архиве
19 ноября 2026
Публикаций в архиве
48
Открыто для чтения на сайте
48
Публикаций в неделю (за 90 дней)
3,7

Последние публикации

Каждая публикация открывается отдельной страницей со ссылкой на оригинал в Telegram.

💡 Датасет для fine-tuning — размер vs качество, 2 минуты расчёта
Часто видел такую историю: человек думает что ему нужно 100k примеров, начинает скрейпить интернет, потом дообучает модель и разочаровывается. На практике вот что работает: 🔸 1-3k …
🛠 Деплой дообученной модели — три ошибки которые убивают в проде
Долго думал о чём писать, потом вспомнил — все говорят про fine-tuning, но молчат про то что дальше. Прошёлся по трём своим фейлам. Первая беда — квантизация. Ты обучал модель в FP…
📊 Loss падает в пол, а модель отвечает дичь — почему это случается
Классическая ошибка: весь обучающий процесс смотришь только на метрику loss, кажется что всё хорошо, выкатываешь модель в прод, а она начинает писать бред. Со мной это было раза тр…
⚙️ Когда QLoRA уже не спасает — архитектура выбора
На меделю задавал себе вопрос: продолжать спихивать всё через QLoRA на одной 3090 или наконец перейти на full fine-tune. Недавно прошёлся по кейсам и понял — люди часто выбирают QL…
🚀 Синтетика vs реальные данные — что даёт реальный прирост качества
Когда собираешь датасет для fine-tuning, встанет вопрос: генерировать примеры через GPT или копать реальные диалоги. На практике я вижу, что большинство новичков выбирают синтетику…
📊 Почему loss падает, а ответы — дичь
Частая боль: в логах обучения кривая потерь летит вниз, а на тестах модель выдает бред или вообще зацикливается. Ребят, не верьте только графику loss, он часто врет. Что я проверяю…
⚡️ Почему FP16 уже не стандарт для обучения
Даже если у вас хватает видеопамяти под FP16, есть смысл глянуть в сторону BF16 или вообще 4-битных квантованных форматов через библиотеку Unsloth. На самом деле, разница в качеств…
📊 Как не угробить модель во время обучения
Многие новички в fine-tuning совершают одну и ту же ошибку — выставляют learning rate слишком агрессивно. В итоге модель ловит переобучение и начинает выдавать полную дичь вместо о…
🛠 Оптимизация видеопамяти под мелкие задачи
На днях пришлось обучать модель на 16 Гб VRAM, когда обычно нужно 24+. Пришлось включать режим экономии и вспоминать базу оптимизаций. Что реально помогает выиграть лишние гигабайт…
💡 Датасеты: синтетика против реальных данных
Многие пытаются забить базу исключительно синтетическими данными из мощных моделей. Это быстро и дёшево, но есть нюанс — модель в итоге начинает имитировать стиль той самой «учител…
Показать ещё 20 публикаций
🟢 Ошибка «забывания» в LLM
Короче, при дообучении часто случается катастрофическое забывание. Ты учишь модель писать как юрист, а она в процессе разучивается нормально здороваться или соблюдать базовый синта…
💾 Вес модели против качества работы
Ребят, постоянно вижу споры, стоит ли упарываться в модели на 70B+ параметров или хватит компактных 7B-8B. Мой опыт говорит, что всё зависит от сложности задачи. Мои критерии выбор…
📊 Оценка галлюцинаций в дообученных моделях
Часто после файна-тюна модель начинает уверенно нести бред, хотя loss на графике выглядит просто идеально. Это классическая ловушка переобучения на «правильный» стиль ответа при по…
🛠 Ошибки при деплое дообученных моделей
Обучили модель, получили веса, залили в продакшн — и тишина. Бывает. Часто проблема не в качестве обучения, а в том, как мы модель «кормим» в продакшене. Что важно проверить: 🔴 тем…
🚀 Почему я перестал дообучать «монстров»
Раньше казалось: чем больше параметров в модели, тем круче результат дообучения. Сейчас для большинства рабочих задач беру модели до 14B параметров. И вот почему. Главные причины: …
💡 Датасеты для fine-tuning: синтетика против реальных данных
Раньше я убивал недели на разметку данных руками. Сейчас уверен: качественная синтетика через сильные модели типа DeepSeek R1 или модели OpenAI часто работает лучше, чем «грязные» …
⚙️ Архитектура обучения: когда стоит уходить с QLoRA на full fine-tune
Все привыкли к QLoRA, потому что это дешево и сердито. Но когда задача становится специфичной — например, узкоспециализированный сленг или сложная логика — LoRA-адаптеры могут не в…
📊 Оцениваем качество модели после fine-tune: почему loss обманчив
Частая ошибка новичков — смотреть только на график падения loss при обучении. Блин, это ловушка: модель может просто зазубрить датасет, а на реальных промптах посыпаться. Вот мой ч…
💼 Итоги года по fine-tuning — где я слил деньги, где заработал
Год я закрываю с 14 прогонами в проде, 6 в мусоре. Расклад: Заработано: 🔴 4 корпоративных клиента, средний чек $12к = $48к 🔴 подписка на моего юр-бота: 23 клиента × $80/мес = $22к …
📰 Cohere Command R+ — обновление для RAG и tool use
Cohere остаётся в тени OpenAI/Anthropic, но у них добротная модель специально под RAG и агентов. Свежая версия: 🔸 контекст 128к, стабильно работает на длинных документах 🔸 нативный…
🎙 В эту среду в подкасте — Лена, ведущий MLE из фонтеха
Разберём то, о чём в её компании говорят на всех кухнях: 🔸 почему они выкинули fine-tuning и вернулись к prompt engineering 🔸 сколько денег ушло в мусор на первых попытках 🔸 когда …
📚 Reward model для DPO — что это и зачем
Разбор для тех, кто дошёл до пред-продакшена. DPO нужны пары «хороший ответ / плохой ответ». Где брать? Три пути: 🔸 руками. Дорого, медленно, но эталон качества. 🔸 через реворд-мод…
🎁 Unsloth — библиотека, которая ускорила мой прогон в 2 раза
Ребят, это находка. Ставится в 2 команды через pip, поддерживает Llama, Mistral, Qwen, Gemma. Что дала на моих задачах: 🔸 обучение в 1.9-2.1× быстрее 🔸 памяти нужно на 40% меньше 🔸…
📰 Deepseek R1 — китайцы открыли reasoning-модель, веса свободно
Не путать с обычным R1 (rank-1). Это большая модель уровня o1 от OpenAI, только open-source и на 20× дешевле в инференсе. Что интересно для нас: 🔸 веса свободно на huggingface, ком…
🤔 Что будет с fine-tuning через 3 года — моя ставка
Мои прогнозы, спорьте в комментах: 🔴 Большие модели (500B+) станут монополистами по знанию, свои прогоны туда не полезут — слишком дорого. 🔴 Средние модели (7-70B) уйдут в LoRA-ада…
💼 Дообучил модель для юр-компании — интересный кейс
Задача: адвокатское бюро хочет модель, которая читает договор и отмечает риски по их чек-листу. Готовых нет — чек-лист внутренний, 340 пунктов. Что делал: 🔸 3 недели с их юристами …
🎁 Кросс-промо от Хоменка — что ещё веду
Ребят, я не только про fine-tuning пишу. У меня есть каналы про смежные штуки, куда часто перетекают вопросы: 🔸 «Хоменок: RAG-системы» — где заканчивается fine-tuning, начинается R…
📚 Overfitting в fine-tuning — 5 сигналов, что модель тупеет
Ребят, если ваша модель после дообучения: 🔴 повторяет одну и ту же фразу в разных ответах — она заучила датасет 🔴 отвечает хуже на общих вопросах, не по вашему домену — переучили 🔴…
📰 Gemini 2.0 Flash — Google открыл fine-tuning в AI Studio
Что важно: 🔸 бесплатный тир: до 50 прогонов в месяц, до 4 млн токенов 🔸 платный: $0.30 за 1 млн токенов обучения, инференс идёт по обычной цене 🔸 деплоится через Vertex AI, есть JS…
🎁 Как выбрать базовую модель под fine-tuning — 3 фактора
Ребят, вопрос «Llama или Mistral» задают каждую неделю. Отвечаю системно. 🔸 Смотри лицензию. Llama до 700 млн MAU — ок, дальше платишь. Mistral Apache 2.0 — свободно везде. Qwen — …

Вопросы о канале Хоменок про дообучение LLM 🧠

О чём пишет Хоменок про дообучение LLM 🧠?

Последние темы канала: «Датасет для fine-tuning — размер vs качество, 2 минуты расчёта», «Деплой дообученной модели — три ошибки которые убивают в проде», «Loss падает в пол, а модель отвечает дичь — почему это случается».

Как часто выходят публикации?

По публичной ленте Telegram на 19 ноября 2026: последний пост — 19 ноября 2026, около 20,4 постов в неделю. С 30 августа 2026 в архиве public.tg собрано 48 публикаций канала, последняя — 19 ноября 2026. За последние 90 дней — 48 постов, в среднем 3,7 в неделю. Чаще всего посты выходят по четвергам, с 10:00 до 13:00 по Москве.

Какие посты публикует канал?

Средняя публикация — около 108 слов (посты средней длины).

Можно ли читать архив канала без Telegram?

Да. На public.tg открыто 48 публикаций канала — каждая отдельной страницей со ссылкой на оригинал в Telegram. Последние из них — в списке выше.

Какие каналы похожи на Хоменок про дообучение LLM 🧠?

Близки по теме: Хоменок про NFT-маркетинг 🖼, Антон Хоменок про кодинг ⌨️, Антон Хоменок про No-code 🧩. Все каналы раздела «Авторские блоги и инсайды арбитража» — в каталоге.

Похожие каналы сети

Каналы на близкие темы: подпишитесь или добавьте их в рекламную кампанию.

Весь каталог: 11362 каналов →

реклама в сети

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.