За час до демонстрации кто-то предлагает самый быстрый способ: выгрузить полсотни настоящих сделок, поменять имена и подключить агента к этой таблице. Первые две строки выглядят вымышленными. В третьей остался номер заявки из рабочей CRM, а во вложении за подписью менеджера тянется половина клиентской истории. Тест начинается бодро, и письмо уходит. Вот только обсуждать теперь приходится совсем другой проект.
Тестовые данные для ИИ-агента лучше собирать из вымышленных записей с правдоподобными связями. Для каждого примера задайте вход, ожидаемое решение и допустимые изменения. Для писем, звонков, платежей и публикаций используйте изолированные приёмники. Тогда команда проверит ход работы агента без передачи клиентской базы и без реальных действий тестового сценария.

Начните с одной операции, которую можно проверить
Условная компания продаёт монтажное оборудование. Её агент читает входящее письмо и готовит запись в CRM. Один тестовый кейс описывает понятный запрос: вымышленная компания «Вектор Учебный» просит комплект, указывает срок и город. Ожидание — одна запись со статусом «Нужно уточнить наличие» и черновик ответа. Число контактов в тестовой базе после прогона вырастет на один. Писем в рабочих ящиках и сделок в производственной CRM появиться не должно.
Предложите контрольный антипод. Те же реквизиты, но заказчик уже есть в CRM и просит поменять срок. Ожидание — найти существующую запись, показать предлагаемое изменение и сохранить отличия. В третьем случае отправитель не назван и просит «сделать как в прошлый раз». Агенту не хватает идентификатора заказа. Допустимый результат — вопрос о номере и сохранение черновика без изменения статуса. Теперь есть три разных случая, а не три варианта написания названия одной компании.
Такой набор полезно взять на разговор о внедрении ИИ. Конкретный сценарий показывает объём интеграции и границу полномочий лучше, чем демонстрация диалога. Команда видит, какой шаг строим, какой сигнал проверяем и что считаем ошибкой.
Соберите связи, без которых запись неправдоподобна

Карточка клиента сама по себе мало что даёт. Заказ связан с компанией, у филиала свой график, одна заявка может породить две задачи, а контакт фигурирует в нескольких письмах. Если каждую строку сочинили отдельно, модель увидит музей идеальных сущностей и не научится разбираться в распродаже складских остатков, когда заявку передали из одного города в другой. Спроектируйте небольшой мир: четыре компании, несколько связанных заказов, два менеджера, один общий адрес бухгалтерии и конфликтующая дата доставки.
Синтетическая запись должна быть явно тестовой на границах систем. В таблице префикс идентификатора указывает на окружение. В письме адрес домена документации годится для отображения, а тестовая доставка идёт только в локальный приёмник. Вложения можно создать своими руками: пустой лист заказа, договор на вымышленную поставку, таблица с двумя тысячами изделий. Используйте нормальный русский текст и реальные структуры документов, а не случайные строки. Важен язык, который человек произнёс бы в работе.
Совпадение поля в двух объектах должно быть преднамеренным. Если в счёте стоит один номер, а в CRM другой, это полезный конфликт. Если расхождение появилось из опечатки автора примера, проверка будет ловить фантазию редактора. В карточке примера перечислите все связи и укажите, какие из них должны совпасть. Через месяц новый сотрудник сможет повторить проверку без автора и понять, почему один из вариантов проходит, а другой остаётся на уточнении.
| Объект | Что положить в тест | Зачем |
|---|---|---|
| Компания | Два филиала, один реальный для набора клиентский ключ | Проверка выбора площадки и объединения карточек |
| Письмо | Запрос на изменение заказа и старая тема цепочки | Проверка намерения и ссылок на предыдущий шаг |
| Вложение | Поддельный счёт с отдельным тестовым номером | Проверка чтения таблицы и суммы |
| Статус | Подтверждено на складе, черновик в CRM | Проверка источника истины по полю |
| Результат | Допустимый черновик и запрет на исполнение | Проверка внешних действий, которых не должно быть |
Разделите пример, обезличивание и синтетику
Вымышленный набор создаётся с нуля. Частично обезличенный набор начинается с рабочих записей и меняет часть полей. Полностью синтетический набор может быть построен по статистическим правилам, но это отдельный способ, который также требует оценки. Для обычного пилота проще всего вручную создать десятки небольших примеров, когда известны нужные состояния системы и критерий на каждый из них. Так промышленная история вообще не попадает на стенд.
Если ручных примеров недостаточно, соберите обезличенные наблюдения о форме рабочих данных: диапазоны длин писем, список допустимых статусов, типы пустых полей, частые комбинации причин отказа. Из этих сведений создайте новые строки, не копируя заявки. Отдельно сделайте тест на редкую комбинацию. Признаки вроде времени, суммы, адреса и необычной модели оборудования могут вместе раскрыть клиента даже после удаления имени. В руководстве NIST SP 800-188 выбор модели передачи и оценка риска связываются с задачей и свойствами набора. NIST SP 800-188
Не храните в тестовой папке карту «старый ID → новый ID», если процесс обходится без неё. Такой файл возвращает привязку, которую вы только что пытались убрать. Исходные исключения держите в системе владельца процесса, а в задачу разработки передавайте отдельное описание конструкции примера. Если всё-таки требуется реальная запись, у неё должны быть отдельный владелец, закрытая среда и установленная область доступа. Преобразование пары полей не меняет границу доступа автоматически.
Отделите данные от права совершить действие

Даже идеальная синтетика не защищает, когда агент смотрит на рабочий URL и авторизован с нужными правами. Отдельный набор и отдельное техническое окружение решают две разные задачи. Первый рассказывает, что использовать в сценарии. Второе определяет, куда можно писать. При запуске стенд должен ограничивать адреса внешних систем, использовать свои учётные записи и назначать каждому исходящему действию тестовый получатель. Полезно пробовать отказ не только в языке модели, но и на границе доставки.
Вымышленный email можно собрать на зарезервированном домене примеров. Зарезервированные домены предназначены для иллюстраций, а не для обслуживания производственных приложений, поэтому приём письма проверьте собственным заглушённым коннектором. Факт письма тогда хранится как событие в тестовом журнале. Можно открыть видимый текст, проверить мнимого адресата и сослаться на идентификатор кейса. IANA Example Domains
У внешнего поставщика ищите документированную изоляцию. Например, платёжная песочница Stripe предназначена для симуляции операций на тестовых значениях без движения средств. В вашей связке может быть другой поставщик, поэтому заведите собственную проверку режима, ключей и направления вебхуков. Кнопка «Оплатить» на имитации — часть сценария. Подтверждение транзакции через рабочие ключи — самостоятельное внешнее действие с другим уровнем допуска. Stripe Testing
Напишите ожидаемый результат до запуска агента
Сохраните критерий рядом с каждым входом. Опишите обязательные поля, возможные варианты формулировки и запрещённые команды. Для письма это означает допустимое упоминание сроков, нужное уточнение и запрет обещать цену. Для CRM — конкретные изменённые поля и отсутствие изменений во всех остальных. Для поиска — подтверждённое название, ссылка, дата проверки и честные границы сведений. Проверка текста и проверка побочного эффекта происходят отдельно.
Если один кейс допускает несколько удачных результатов, перечислите признаки качества. Например, письмо корректно просит указать серию и количество оборудования в любом порядке. Проверять совпадение строк посимвольно здесь бессмысленно. А поле OrderID, напротив, должно совпасть точно. В заметке можно поставить допуск по голосу бренда, но нельзя разрешить неверный статус только потому, что менеджер выбрал дружелюбные формулировки. Привяжите точность к цене решения.
В статье о тестировании агента перед запуском рассматривается общий порядок приёмки. Внутри него синтетический кейс закрывает узкий вопрос: что счёл агент и где это можно подтвердить на стенде. Если разработчик и операционный сотрудник читают одну карточку с разным итогом, до запуска стоит договориться о настоящем процессе. Проверка добросовестно подсветила двусмысленность.
Сделайте отрицательные сценарии похожими на рабочий день

Операции с ясным намерением и заполненными полями обычно успешно проходят демонстрацию. Поэтому добавьте письма с контекстом предыдущего месяца, неполные телефоны, конфликт складского и коммерческого статуса, два заказа с одинаковым номером в разных системах. Для вынужденных веток задайте по крайней мере один вариант, где агенту нужно остановиться, и один, где он должен предложить уточнение. Когда любое сомнение кончается передачей человеку, очередь перегружается, а ценность сценария снижается.
Отдельный тип ошибки — корректный ответ рядом с ошибочной записью. Агент пишет «черновик готов», хотя сам поменял статус на «Отправлено». Если проверка читает только чат, она пройдёт. Поэтому после прогона откройте данные состояния и события приёмника. Для успешного кейса покажите действие, которое произошло. Для отрицательного проверьте отсутствие действия, а не просто ответ с обещанием ничего не менять.
Проверка повторов требует последовательности. Агент получил запрос, записал тестовую сделку, не дождался ответа сервера и попробовал снова. Ожидаемый итог — одна сделка и две попытки в журнале, если бизнес допускает такой повтор. При изменении заказа вслед за повтором ключ должен обозначать уже новое намерение. Документация об идемпотентных запросах Stripe даёт пример, как одна система поддерживает повтор операции через ключ. У другого сервиса правила и срок хранения ключа могут отличаться. Stripe Idempotent Requests
Минимальная матрица и что в неё добавить потом
В первой итерации полезно иметь обычный ход, неизвестного клиента, существующую запись, нехватку прав, неподдерживаемое вложение, спорный статус и повторную попытку. После ручной проверки перечислите, какой сбой связан с каким владельцем. Сценарий с неверной ролью интересен отделу эксплуатации. Сценарий с непонятным намерением потребует решения от продаж. Сценарий с лишней отправкой относится к границе интеграции и не исправляется переписыванием приветствия.
Тестовый набор должен включать культурные и языковые варианты, если они влияют на бизнес. Запрос «склад Ростов» может означать филиал, доставку в город или название партнёра. Составьте похожие фразы с разными правильными ответами. Иначе модель выучит типовые словосочетания вместо структуры решения. Другой полезный тип примера — разный текст при одном намерении: «привезите в пункт Б», «поменяйте адрес на Б», «в А уже не нужно, оставьте в Б». Обязательное поле остаётся тем же, но понимание проверяется на живом языке.
При разработке выделите учебные примеры и контрольные. Учебные можно показывать исполнителю, обсуждать и менять. Контрольные полезно сохранять отдельно, чтобы они проверяли работу на непривычных формулировках. Для пилота это особенно важно: если набор целиком встроили в правила, следующая новая заявка может удивить команду сильнее предыдущей. После изменений добавляйте свежие сценарии на ту же ошибку и следите, чтобы старые результаты сохранялись.
Проведите репетицию с участием сотрудника
На первой встрече один участник подаёт вход, второй наблюдает интерфейс, третий проверяет журнал стенда. Сотрудник читает задачу без подсказки автора и называет правильный итог. Затем сравнивает ожидаемую строку со своим решением. Разногласие подсказывает, что критерий обещания или полномочия пока не сформулирован. Можно записать два допустимых варианта и выбрать зависимость от обстоятельств.
Во второй фазе исполнитель запускает агента и показывает, что произошло в стенде. Остальные проверяют количество записей, адрес приёмника, причину блока и восстановление после ошибки. Если виден только весь поток подряд, одну операцию будет трудно найти. Передавайте идентификатор кейса через этапы. Время и общий идентификатор процесса помогают связывать данные, когда несколько интеграций работают параллельно. OpenTelemetry Traces
Для демонстрации можно прогнать один заранее подготовленный тестовый заказ. Для приёмки ширина другая: команда должна увидеть отрицательные результаты, документацию окружения и ответ на вопрос о том, где ставится запрет внешнего действия. Так репетиция показывает не только способность агента провести сделку, но и способность компании остановить ошибку.
Выборка тестов для выпуска изменений
Начните репетицию с двух сообщений, которые отличаются одной значимой деталью, например городом в теле письма. За одинаковый результат балл начисляйте лишь там, где различие действительно не меняет решения. Для выпуска отдельно пометьте сценарии, где прежний результат обязан сохраниться. Это позволяет не принимать оптимизацию по среднему проценту: новую интеграцию можно формально улучшить, сломав одну дорогостоящую ветку. Проверяющий должен увидеть именно её, а не угадывать по общему баллу.
Добавьте снимок состояния до и после для двух объектов, которых агент не должен касаться. Удалённый внешний эффект бывает виден не сразу. Например, письмо прикреплено к чужой карточке в результате попытки склеить два похожих имени. В журнале укажут, что написано в тестовом наборе, а состояние исходных записей показывает лишнее изменение. Такой сценарий особенно полезен в наборе для обновления правил поиска и сопоставления.
Когда новая версия проходит главную ветку, намеренно выключите один тестовый приёмник. Сценарий должен оставить читаемое объяснение, установить допустимый статус и передать ответственного. После включения снова прогоните кейс с тем же идентификатором. Две операции в журнале и один подтверждённый деловой результат позволяют проверить и обработку отказа, и устойчивость внешнего коннектора.
Порядок изменения набора и срок жизни примера
Держите версию набора и исходные условия. Если отдел добавил новый диапазон скидок, старый кейс не надо молча редактировать, иначе результаты прошлых проверок перестанут объясняться. Создайте новую версию с датой начала правила. В тесте на январскую сделку можно по-прежнему ожидать январский итог. В текущей проверке ждём решение по новому правилу. Эта разница учит команду смотреть на область применения, а не выбирать понравившийся ответ по дате прогона.
После обнаружения проблемы заведите новый тест, который с высокой вероятностью поймает повтор. Пусть в первом кейсе агент перепутал филиал, потому что адрес склада был в подписи письма. В набор добавьте похожую подпись, но другой желаемый город в тексте. Когда исправление готово, проверьте старый случай и новый. Скрипт, который спас одну конкретную фразу, иначе легко выдаст результат за системное исправление.
Не раздувайте набор до количества, которое никто не прогоняет. Для каждого кейса известны причина появления, ответственный и правило пересмотра. Когда интеграция или продукт уходит, старые примеры можно архивировать с объяснением. Их история полезна для разбирательств, а активный набор остаётся читаемым. Набор помогает выпуску, если по итогам его прогона можно принять решение о следующем шаге.
Перед первым запуском ответьте на четыре вопроса. Кто подтверждает, что любой исходящий шаг попадёт в тестовый приёмник? Где видно состояние данных после прогона? Как сверяем, что нежелательных записей не появилось? Кто принимает решение, если оператор и агент прочитали одну реплику по-разному? Эти вопросы обычно обнаруживают реальную работу раньше, чем секция «презентация проекта» обнаружит отсутствие клиентского сценария.