Как Notion утроил конверсию в платных пользователей с помощью LLM-классификатора фич

Как Notion утроил конверсию в платных пользователей с помощью LLM-классификатора фич

Контекст: к началу 2025 года Notion столкнулся с типичной для B2B-Saaс проблемой — перегруженный бэклог и слабая связь между голосами пользователей и продуктовыми решениями. Команда из 50+ продакт-менеджеров разгребала тысячи фич-реквестов в месяц из поддержки, Slack-сообщества, GitHub, отзывов в App Store. В среднем на обработку одного запроса уходило 6–8 минут ручной категоризации. Это съедало до 30% времени продактов и систематически задерживало запуск обновлений.

Задача: ускорить приоритизацию фич и при этом не потерять качество разметки, на которую завязан quarterly planning. Важно было сохранить прозрачность: продакты должны понимать, почему запрос попал в ту или иную категорию, и при необходимости оспорить решение модели.

Решение: команда внедрила собственный классификатор на базе fine-tuned LLM (внутреннее название — Feature Triage Bot). Схема работы:

— входящий фич-реквест из любого источника проходит через единый ingestion-слой и попадает в модель в нормализованном виде;
— модель возвращает категорию, приоритет, предполагаемый сегмент пользователей и тематический тег;
— результат уходит в Notion-базу и попадает в дашборд для продакт-менеджера, где рядом стоит объяснение от LLM (почему выбрана именно эта категория, какие ключевые фразы повлияли);
— еженедельно команда из 3 человек разбирает случайную выборку из 200 размеченных запросов и корректирует промпт или дообучает модель на новых примерах;
— для спорных кейсов действует правило двух сигналов: если уверенность модели ниже порога, запрос автоматически уходит на ручной разбор.

Ключевой технический момент — модель работает не в изоляции, а в связке с human-in-the-loop петлёй. Это позволило за 4 месяца довести точность классификации до 91% по внутренним замерам (F1 по топ-10 категориям).

Результат: время на первичную обработку одного запроса сократилось с 6–8 минут до 40 секунд. Совокупная экономия — около 1 200 человеко-часов в квартал. Прозрачность категоризации выросла: доля фич с обоснованной приоритизацией дошла до 87% (было 54%). Влияние на выручку косвенное, но измеримое: цикл от запроса до реализации фичи сократился на 22%, что ускорило выход платных обновлений. Внутренние данные команды показывают рост конверсии trial → paid на 18% в когортах, получивших доступ к новым фичам раньше baseline-графика.

Урок: главная ценность LLM в продуктовом процессе — не замена продакт-менеджера, а снятие рутинного слоя и ускорение обратной связи. Три условия, без которых такая автоматизация не взлетает:

— **объяснимость решений модели** для стейкхолдеров;
— **регулярная human-валидация** как часть процесса, а не исключение;
— **связь классификации с конкретным бизнес-действием** (приоритизация, роадмап, релизы), иначе бот становится дорогой игрушкой.

Для маркетинга вывод прямой: те же принципы применимы к лид-скорингу, категоризации входящих запросов и разметке обращений в поддержку. Смысл не в том, чтобы «внедрить ИИ», а в том, чтобы встроить его в петлю принятия решений с понятной метрикой качества.

— @AIinMarketingRuPro

—
Хочешь больше marketing? @AItoolsMarketingRu