«Обучим нейросеть на наших данных, и она будет всё знать» — самый дорогой способ получить модель, которая уверенно называет вчерашние цены. За этой фразой смешаны два разных механизма: дообучение меняет то, как модель отвечает, а знание фактов компании обеспечивается базой знаний — поиском по документам перед ответом. Выбор между дообучением модели и базой знаний определяет и бюджет проекта, и то, можно ли будет проверить ответ агента. Я разберу, чем они отличаются, почему факты не зашивают в веса, когда дообучение действительно оправдано и какие вопросы задать подрядчику, который предлагает «обучить модель под вас».
Дообучение учит манере, база знаний — содержанию
Дообучение — это изменение весов модели на примерах. Оно формирует поведение: тон, структуру ответа, отраслевую лексику, формат вывода. Извлечение — это поиск нужного фрагмента в ваших документах перед ответом и передача его модели как контекста. Оно обеспечивает фактическую точность. Механика поиска по фрагментам разобрана в статье о том, как AI находит ответ в документах.
Путаница возникает потому, что оба процесса в разговоре с заказчиком называют «обучением на своих данных». Но результат у них противоположный: первый учит манере, второй — содержанию. Когда звучит «хотим обучить модель на наших документах», я бы первым делом уточнял, что именно не устраивает в ответах сейчас: если «говорит не тем языком» — это про дообучение, если «не знает наших условий» — про базу знаний. Моя ставка — чаще окажется второе, а претензия «не знает наших условий» дообучением не лечится.
Дообучение отвечает на вопрос «как говорить». База знаний отвечает на вопрос «что говорить». Подменять второе первым — значит платить больше и получать менее точный результат.
Факты в весах модели устаревают, округляются и теряют источник
Данные устаревают в момент обучения. Модель, дообученная на прайсе понедельника, во вторник называет вчерашние цены. Переобучать при каждом изменении невозможно ни по времени, ни по деньгам.
Модель воспроизводит факт приблизительно. Веса не хранят записи, они хранят закономерности. Между похожими значениями модель интерполирует: видела цены 480, 500 и 520 — на новый вопрос уверенно выдаст 505, которого не было нигде.
Источник ответа не проследить. С базой знаний можно показать документ, из которого взят ответ. С зашитым в веса фактом остаётся только «модель так сказала» — аудировать нечем, спорить не с чем.
Обновление несопоставимо по стоимости. Заменить документ в базе знаний — секунды. Переобучить модель — часы работы вычислительных мощностей и подготовленный набор примеров.
Для бизнеса из этих четырёх пунктов следует одно: ответ, зашитый в веса, нельзя ни проверить, ни быстро исправить. Если агент назвал клиенту неверную цену, в случае базы знаний видно, из какого документа она взята, и документ меняется в тот же день. В случае дообученной модели остаётся ждать следующего цикла обучения и надеяться, что ошибка ушла.
Цены — базе знаний, тон — дообучению, остатки — живому запросу
| Задача | Чем решается | Почему |
|---|---|---|
| Знать ваши цены и условия | База знаний | Меняется часто, нужна точность и проверяемость |
| Отвечать в стиле компании | Дообучение | Устойчивая манера, меняется редко |
| Соблюдать структуру диалога | Дообучение | Поведение, а не содержание |
| Знать актуальный остаток | Живой запрос в систему | Данные меняются в течение дня |
| Понимать отраслевые термины | Дообучение или подсказка | Лексика, а не факты |
| Заполнять поля в заданном формате | Дообучение | Форма вывода |
В таблице стоит обратить внимание на строку про отраслевые термины: там написано «дообучение или подсказка». Во многих случаях список терминов с расшифровкой в инструкции модели решает задачу без обучения. Дообучение нужно, когда терминов много и модель систематически путает их даже с подсказкой.
Когда дообучение оправдано
После того как извлечение работает, а не вместо него. Осмысленные поводы: нужен узнаваемый голос компании, а не нейтральный; у отдела жёсткая структура разговора, которую подсказками держать дорого; требуется строгий формат вывода для последующей обработки; базовая модель систематически путает вашу профессиональную лексику.
Общее у всех четырёх — это про поведение. Ни один из них не про то, чтобы модель помнила ваш прайс. И у всех четырёх есть более дешёвая первая попытка: подробная инструкция с примерами ответов прямо в запросе. Дообучение имеет смысл, когда такая инструкция уже написана, проверена и всё равно не держит манеру.
Выгрузка из учётной системы — плохой учебник и хороший источник
Отдельно стоит разобрать сценарий «возьмём дамп базы и дообучим». Выгрузка из учётной системы — это структурированные строки: документ, дата, контрагент, номенклатура, количество, сумма. Развёрнутые в текст, они дают поток почти одинаковых записей.
На таком материале модель не изучает бизнес. Она либо переобучается на однообразный шаблон и теряет разговорность, либо не запоминает единичные записи вовсе — они встречаются по одному разу. Точный поиск при этом идеально делает сама учётная система, к которой достаточно дать доступ.
Бухгалтера не заставляют заучить наизусть миллион накладных, которые меняются ежедневно. Ему дают доступ к системе. Дообучение на выгрузке — это «заучи всё»; извлечение и запросы — это «вот доступ».
Сколько примеров нужно для дообучения
Вопрос, на котором большинство планов дообучения и заканчивается, если задать его честно в начале, а не в середине проекта.
Порядок величин такой: чтобы устойчиво поменять стиль и структуру ответа, нужны сотни примеров, а не десятки, и все они должны быть эталонными. Эталонный означает не «реальный разговор», а «так, как правильно»: с той структурой, тем тоном и той полнотой, которых вы добиваетесь.
Отсюда основная стоимость дообучения — не вычисления, а подготовка примеров. Сотня эталонных ответов, написанных или выверенных специалистом, — это недели работы человека, который в компании обычно один и загружен. Прежде чем планировать дообучение, стоит посчитать именно эти часы: они и определяют, состоится ли проект.
Между дообучением и неподвижной базой есть третий путь: агент накапливает поправки сотрудников записями — памятью, правилами и навыками, которые закрепляются после подтверждения человеком и откатываются одной строкой. Как это устроено, — в статье о том, как ИИ-агент учится на диалогах.
Дообученная модель стареет вместе с базовой
Дообученная модель — это версия, привязанная к базовой модели, на которой её обучали. Базовая версия рано или поздно выводится из обращения или обновляется, и работа повторяется.
Это одно из главных отличий от базы знаний. Документы переживают любую смену модели: сменили поставщика — поиск работает по тем же материалам. Дообучение переносить нельзя, его придётся делать заново, и подготовленные примеры при этом сохраняются, а вычислительная часть повторяется целиком.
Практический вывод для планирования: закладывайте повторное дообучение как регулярный расход, а не разовый. И храните набор эталонных примеров отдельно и аккуратно — он и есть настоящий актив, а не полученная модель.
Эффект дообучения проверяют вслепую против хорошего промпта
Ощущение «стало лучше отвечать» — плохое основание для расхода, тем более повторяющегося. Проверка строится как сравнение, а не как оценка.
Возьмите набор задач, не участвовавших в обучении, — это принципиально: на обучающих примерах результат будет хорошим всегда и ничего не докажет. Прогоните их через базовую модель с хорошим промптом и через дообученную. Сравнивайте вслепую: оценщик не должен знать, какой ответ откуда.
Вполне возможный и полезный исход такой проверки — выяснится, что аккуратный промпт даёт результат, сопоставимый с дообучением. Это не аргумент против дообучения вообще, но это повод сначала выжать промпт до конца, а потом считать бюджет на обучение.
Другой возможный исход — эффект есть, но не там, где ждали. Дообучение обычно заметно улучшает соблюдение формата и структуры ответа и почти не влияет на фактическую точность. Если исходная претензия была «модель ошибается в цифрах», дообучение её не снимет, и это стоит проверить до, а не после.
Порядок внедрения: база знаний, живые запросы, границы, и только потом обучение
- Сначала база знаний. Собрать справочные документы, наладить поиск по ним, добиться дословного совпадения ответов с источником. Что в неё класть и чего класть нельзя — в разборе базы знаний AI-агента.
- Затем живые запросы. Подключить системы, где лежат меняющиеся данные: остатки, статусы заказов, расписание.
- Потом границы. Явно задать темы, где агент обязан признать незнание и позвать человека.
- И только после — дообучение. Если после всего этого не хватает именно манеры, а не точности.
Порядок не формальность: эффект трёх первых шагов меряется сразу — долей дословно верных ответов, а четвёртый требует набора эталонных примеров, который удобнее всего собирать из уже работающей системы — из ответов, которые специалист проверил и поправил.
Когда не нужно ни дообучение, ни база знаний
Честный вариант ответа на вопрос «дообучать или собирать базу» — иногда ни то ни другое.
Нужные данные уже лежат в системе с поиском. Если сотрудники спрашивают остаток или статус заказа, а учётная система отвечает на это отчётом за секунды, нейросеть между человеком и отчётом добавит место для ошибки, но не скорость. Иногда задача решается кнопкой в интерфейсе.
Вопросов мало, и они не меняются. Десяток типовых вопросов с устойчивыми ответами закрываются страницей справки или шаблонами для менеджеров. Поддерживать ради них базу знаний и агента — дороже, чем проблема.
Нет того, кто отвечает за правильность. База знаний без владельца устаревает, дообучение без эталонных примеров не состоится. Если в компании нет человека, у которого есть время выверять ответы, ни один из механизмов не заработает, и деньги лучше не тратить.
Вопросы подрядчику, который предлагает обучить модель под вас
Что это меняет в решении: предложение «дообучим модель на ваших данных» стоит разобрать до договора, а не после. Я бы задал подрядчику четыре вопроса. Какую именно проблему в текущих ответах решит обучение — манеру или факты? Откуда возьмутся эталонные примеры и кто на вашей стороне потратит на них недели? Что произойдёт, когда изменится прайс, и когда базовую модель выведут из обращения? Как будет проверен эффект — вслепую, на задачах вне обучающего набора, против хорошего промпта? Как это устроено на данных учётной системы — в статье про работу AI с 1С; где разворачивать саму модель — в разборе открытых моделей и облачных API.
Проверка на своих данных при этом дешёвая: соберите два–три десятка реальных вопросов, на которые ассистент сейчас отвечает плохо, и разложите их на две группы — «не знает фактов» и «говорит не так». Первая группа закрывается базой знаний и живыми запросами, вторая — инструкцией, а если не получилось, дообучением. Если все вопросы попали в первую группу, дообучение в этом проекте не нужно, и деньги на него можно не закладывать.
