С нуля обучить LLM — это не про «залить модель и ждать чуда», а про пайплайн, который можно повторять и быстро

С нуля обучить LLM — это не про «залить модель и ждать чуда», а про пайплайн, который можно повторять и быстро крутить под новые данные и расписания. 🧠

Команда обучения и инференса RWB рассказала, как без pretrained-весов собрала текстовую модель на базе гибридной архитектуры Qwen3.5-2B-Base: от сборки датасетов и доменных блендов до гибридного внимания, XSA и разбора странного роста онлайн-бенчмарков.

Для айтишников это полезно как практический разбор того, что реально влияет на качество и стабильность обучения. Такие вещи стоит читать всем, кто работает с LLM-пайплайном, а не только с готовыми API.

IT Якутск — t.me/it_yakutsk