Вопрос, который стоит задать до внедрения, а не после: агент назвал клиенту неверную цену — кто отвечает. Обсуждать это принято в терминах технологии, хотя вопрос организационный и договорный. Разберём, как ошибка обнаруживается, кто за неё платит и что имеет смысл зафиксировать письменно заранее.
Перед клиентом отвечает компания
Начнём с того, что не обсуждается. Для клиента AI-агент — это ваша компания: он обратился к вам, ответ получил от вас, и ссылка на поставщика инструмента его положение не меняет. Обещание, данное агентом, клиент воспринимает как обещание компании, и в большинстве спорных ситуаций дешевле его выполнить, чем объяснять устройство системы.
Внутренние отношения с подрядчиком — отдельный слой. Он определяет, кто в итоге несёт издержки, но не меняет того, кто отвечает перед клиентом.
«Это ошибка нейросети» — не объяснение для клиента, а перекладывание на него вашей внутренней проблемы. Разбирательство с подрядчиком идёт после того, как вопрос клиента закрыт.
Три вида ошибок и разная цена
- Ошибка в тоне или формулировке. Ответ сухой, невпопад, не туда развернул разговор. Стоит извинения и правки настроек.
- Ошибка в факте. Неверная цена, срок, условие возврата. Стоит либо выполнения обещанного, либо переговоров с клиентом, и это уже деньги.
- Ошибка с последствиями. Агент подтвердил то, что компания сделать не может: несуществующую услугу, невозможный срок, недопустимую скидку. Здесь цена не ограничена одной сделкой и может выйти в претензию.
Разделять их полезно потому, что предотвращаются они по-разному. Первая правится настройками, вторая — базой знаний, третья — явным списком тем, по которым агент не имеет права отвечать сам.
Как ошибка вообще обнаруживается
Главная опасность не в самой ошибке, а в том, что о ней узнают поздно. Неверный ответ выглядит как обычный: он связный и уверенный, поэтому ни клиент, ни выборочно читающий диалоги руководитель его не отличают.
Работают три способа, и лучше все сразу. Сплошное чтение диалогов в первые недели — не выборка, а подряд. Автоматическая сверка ответов о ценах и сроках с документами. И явный сигнал от клиента: жалоба или спор о том, что ему обещали, разбирается по записи разговора, а не по памяти.
Отсюда практическое требование, которое стоит проверить до запуска: все диалоги агента должны сохраняться целиком и быть доступны для просмотра. Без этого разобрать спорный случай нечем.
Что делать, когда ошибка уже дошла до клиента
| Шаг | Что важно |
|---|---|
| 1. Закрыть вопрос клиента | Решение принимает человек, а не агент; ссылки на технологию клиенту не даются |
| 2. Поднять запись диалога | Что именно было сказано — дословно, а не в пересказе |
| 3. Найти причину | Устаревший документ, дыра в базе или тема, которую нельзя было отдавать агенту |
| 4. Закрыть тему | Поправить документ либо запретить агенту отвечать по этой теме |
| 5. Добавить в тесты | Случай становится сценарием, который прогоняется после каждого изменения |
Пятый шаг пропускают чаще всего, и именно он отличает разовое исправление от того, что ошибка не повторится.
Что зафиксировать в договоре с подрядчиком
Список короткий, но каждый пункт лучше обсудить до подписания, а не после первого инцидента.
- Кто владеет диалогами. Записи и переписки должны оставаться у вас и выгружаться по требованию, включая случай расставания с подрядчиком.
- Срок реакции на инцидент. За сколько часов подрядчик обязан отключить или ограничить агента по вашему сигналу.
- Право на стоп-кран. Возможность выключить агента самостоятельно, не дожидаясь подрядчика.
- Список запретных тем. Письменный перечень того, по чему агент не отвечает сам, — приложением, а не на словах.
- Кто платит за исправление. Правка базы знаний и настроек после ошибки — в рамках сопровождения или за отдельные деньги.
Чего не стоит требовать
Гарантии полного отсутствия ошибок. Поставщик, который её даёт, либо не понимает, как устроена языковая модель, либо понимает и рассчитывает, что вы не станете проверять. Осмысленное обязательство формулируется иначе: не «ошибок не будет», а «вот перечень тем, где агент не отвечает сам, вот срок реакции, вот ваш стоп-кран».
Спросите поставщика, что произойдёт, если агент назовёт клиенту неверную цену. Ответ «такого не будет» говорит о поставщике больше, чем любая презентация.
Коротко
- Перед клиентом отвечает компания; отношения с подрядчиком — отдельный слой, который клиента не касается.
- Три вида ошибок — тон, факт, обещание невозможного — предотвращаются разными средствами.
- Неверный ответ выглядит как обычный, поэтому нужны сплошное чтение диалогов и сверка с документами.
- Все диалоги должны сохраняться целиком — иначе спорный случай разобрать нечем.
- Разобранный случай становится тестовым сценарием, иначе он повторится.
- Гарантия «ошибок не будет» — не обязательство; обязательство — список запретных тем, срок реакции и стоп-кран.
Как проверить агента до первого клиента — в статье про тестирование перед запуском. Почему агент вообще выдумывает — в статье про базу знаний. Как мы ведём внедрение — в описании подхода.