Главная
Тарифы О нас Подход Кейсы Контакты растИИшкаблог 404ai Интеграции Глоссарий Запросить демо +7 (993) 729-59-59
Агент, база знаний и все задачи бизнеса · Везория · 404ai

Human-in-the-loop: почему ИИ не решает сам

Полностью автономный ассистент руководителя экономит несколько секунд на каждом решении и однажды стоит компании ключевого клиента. Это плохой обмен, и дело не в осторожности, а в арифметике: цена управленческой ошибки несопоставима с ценой одного клика. Human-in-the-loop — это схема, в которой AI сам находит проблему и готовит действие, а исполняется оно только после согласия человека. Так и стоит строить любой AI-сценарий, который действует от имени руководителя: предлагает система, решает человек. Ниже — почему это расчёт, а не консерватизм, где эта схема сама превращается в проблему и как понять, что контроль стал формальностью.

Цена ошибки в решениях руководителя асимметрична

Задача, ради которой собственнику нужен ассистент, понятна: держать в голове всю компанию он больше не может. Поручения теряются между планёрками, просрочки всплывают поздно, дожимать каждого приходится лично. Чем больше из этого снимет AI, тем лучше — до того момента, пока AI не начинает действовать от имени руководителя.

Для многих AI-задач автономия оправдана. Модель ошиблась в разметке фотографии или в черновике письма — ошибку легко заметить и исправить, цена близка к нулю. Решения первого лица устроены иначе. Переназначенная задача, напоминание ключевому клиенту не в том тоне, эскалация, которой не должно было быть, — такие действия видят другие люди, и откатить их полностью нельзя: письмо прочитано, сотрудник уже обиделся, клиент уже сделал выводы.

Выигрыш от автономии здесь измеряется секундами, а проигрыш — отношениями и деньгами. Эта асимметрия и делает полную автономию для CEO-инструмента антипаттерном. Не потому, что технология плохая, а потому, что экономия на клике не покрывает даже одну серьёзную ошибку.

Возражение: автономия уже работает, зачем тормозить

Сильный контраргумент звучит так. Системы давно действуют без человека там, где цена ошибки высока: антифрод блокирует платежи, алгоритмы управляют ставками в рекламе, роботы на складе сами решают, куда ехать. Если модель права в подавляющем большинстве случаев, человек в контуре только замедляет работу и добавляет свои ошибки — усталость, невнимательность, настроение.

Аргумент верен для задач с тремя свойствами: действия однотипные, их тысячи, и результат каждого быстро измеряется. На таких потоках можно накопить статистику, посчитать долю ошибок и принять её осознанно. Управленческие решения не обладают ни одним из трёх свойств. Они разнородны, их немного, а последствия проявляются через недели. Статистики, на которой можно было бы доверить системе «переназначь и напиши сам», у отдельной компании просто нет.

Отсюда вывод, который я считаю главным: вопрос не «доверять ли AI», а «на каком типе действий уже накоплено достаточно данных, чтобы доверять». Для большинства действий руководителя ответ сегодня — ни на каком.

«Предлагает, а не делает» — это конкретный шаг перед каждым действием

В интерфейсе это выглядит как выбор «Одобрить / Отклонить». Ассистент замечает проблему, формулирует предложение с обоснованием и ждёт. Только после одобрения в один клик действие исполняется: создаётся задача, переназначается ответственный, отправляется напоминание.

Как это выглядит в диалоге

Ассистент: «Сделка с ключевым клиентом „молчит“ 9 дней, а у ответственного 3 просрочки. Предлагаю поднять её на ваш контроль». Руководитель: «Да, поставь задачу и напомни ему сегодня». Только после этого ответа задача создаётся, а напоминание отправляется — не раньше. Пример условный.

Обратите внимание на структуру предложения: факт, из которого сделан вывод, и конкретное действие. Предложение без обоснования руководитель не может проверить за секунды, а значит, либо тратит время на перепроверку, либо одобряет вслепую. Оба исхода обесценивают схему.

Проверка до одобрения: защита от галлюцинаций и дедупликация

Одобрение человеком — последний барьер, а не единственный. До него в контуре стоит поставить защиту от галлюцинаций и дедупликацию. Смысл таких механизмов в любой AI-системе один: первый нужен, чтобы предложение опиралось на реальные данные компании, а не на правдоподобно звучащее утверждение модели, второй — чтобы одна и та же проблема не приходила к руководителю тремя разными предложениями. Почему языковые модели вообще склонны уверенно выдумывать, разобрано в статье почему нейросеть уверенно выдумывает.

Зачем два барьера, если в конце всё равно человек? Потому что человек плохо ловит ошибки в потоке. Если каждое пятое предложение дублирует предыдущее или опирается на неверный факт, руководитель быстро перестаёт читать внимательно, и последний барьер перестаёт работать. Фильтры до одобрения защищают не только от ошибки, но и внимание того, кто одобряет.

Проактивность и контроль — два разных этапа

Может показаться, что человек в контуре убивает главную ценность ассистента — приносить важное без запроса. Но проактивность касается момента, когда проблема замечена и сформулирована, а не момента исполнения. Ассистент может сам делать срез по компании по расписанию и по запросу, находить затыки, концентрацию просрочек и перегруз — здесь автономия уместна полностью. Автономии нет только в действии, которое меняет что-то вовне.

Хорошая аналогия — право подписи. Новый финансовый директор с первого дня готовит платежи, анализирует и предлагает, но подписывает крупные суммы с собственником, пока не накопится история совместной работы. Никто не считает это недоверием: это способ, которым в организации растёт доверие. Ассистенту руководителя логично проходить тот же путь.

Где человек в контуре становится узким местом

У принципа есть обратная сторона, и честнее назвать её самому. Если каждое действие требует одобрения, а предложений много, человек превращается в очередь: система работает быстро, а всё останавливается на нём.

Симптомы узнаваемые. Предложения накапливаются и разбираются пачками раз в несколько дней. Часть теряет актуальность до того, как её посмотрели. Одобрения начинают ставиться не глядя, потому что разбираться в каждом дольше, чем сделать самому.

Это не аргумент против принципа, а требование к его применению: одобрение нужно там, где решение действительно принимается, и не нужно там, где оно формально. Иначе вместо контроля появляется видимость надзора, а это хуже честной автономии — ответственность размыта, а ошибки проходят так же.

Обратимость действия решает, нужно ли одобрение

Границу проще всего проводить по одному признаку — насколько дорого откатить действие, если оно окажется неверным. Этот принцип годится для любой AI-системы, которая работает от имени человека, а не только для ассистента руководителя.

Действия, которые видит только сам руководитель и которые ничего не меняют вовне, одобрения не требуют: собрать сводку, найти документ, подготовить черновик, отметить задачу для внимания. Ошибка здесь стоит нескольких секунд.

Одобрения требуют действия, которые видит кто-то ещё или которые меняют состояние: поставленная кому-то задача, переназначение, изменённый срок, сообщение, любое обязательство. Здесь откат невозможен полностью.

Границу стоит записать явно и пересматривать, когда появятся данные. Если по какому-то типу предложений за долгий период не было ни одного отклонения по существу, это повод обсудить, нужен ли там клик. Если данных нет — повода нет.

Когда предложений много, разбирать их нужно по цене бездействия

Рост числа предложений — признак работающей системы и одновременно главная угроза для неё. Несколько десятков пунктов в день невозможно разбирать вдумчиво, и разбор превращается в пролистывание.

Первое, что помогает, — порядок по цене бездействия, а не по времени поступления. Предложение, где промедление стоит сделки, должно быть наверху. Второе — группировка однотипных: пять похожих предложений разбираются одним решением быстрее, чем по отдельности.

Третье — регулярная чистка источника шума. Если один и тот же тип предложений раз за разом отклоняется, дело не в предложениях, а в правиле или сигнале, который их порождает. Раз в месяц полезно посмотреть отклонённые по типам: как правило, шум концентрируется в нескольких типах, и их видно сразу. Поэтому систему стоит учить на обратной связи вида «Полезно / Мимо»: отклонение — тоже сигнал.

Формальное одобрение выдают время, доля отклонений и молчание

Формальное одобрение внешне неотличимо от настоящего: нажата та же кнопка. Различить их можно по косвенным признакам, и проверять это стоит регулярно.

Первый признак — время. Если между появлением предложения и одобрением проходят секунды, обоснование не читали. Второй — доля отклонений. Если она близка к нулю, либо система идеальна, что маловероятно, либо кнопку нажимают не глядя. Здоровая доля отклонений заметно отличается от нуля.

Третий признак — исчезновение комментариев при отклонении. Пока человек объясняет, почему не согласен, он думает над предложением. Когда отклонения идут без пояснений, разбор перестал быть разбором.

Лечится это не призывами к внимательности, а сокращением потока: меньше предложений, но каждое действительно требует решения. Проверка простая — готовы ли вы отвечать за каждое одобрение, которое поставили за неделю? Кто отвечает, когда ошибся AI, а одобрил человек, — отдельный вопрос, разобранный в статье кто отвечает за ошибку AI.

Когда ассистент руководителя не нужен вовсе

Схема с одобрением решает проблему руководителя, у которого слишком много потоков, чтобы держать их в голове. Если такой проблемы нет, решать нечего.

Маленькая команда. Несколько человек в одной комнате, поручения видны на ежедневной встрече. Ассистент добавит интерфейс, а не контроль.

Задачи живут в чатах и головах. Ассистенту нужно на что-то опираться: задачи, встречи, команда, цифры. Если учёта нет, сначала нужен учёт — AI не восстановит поручения, которые никто не записал.

Руководитель не готов разбирать предложения. Human-in-the-loop требует от человека нескольких минут в день. Если их нет и не будет, схема выродится в формальные одобрения, и честнее не начинать.

Как поручения доводятся от планёрки до факта исполнения в Везории, агенте компании с командой ИИ-специалистов, показано в разборе сценария «Контроль поручений».

Моя ставка: автономия будет расти по типам действий, а не по уровню модели

Рынок часто обсуждает автономию AI как функцию интеллекта модели: станет умнее — можно отпустить. Я думаю, это неверная ось. Автономия в управленческих инструментах будет расширяться не когда модели станут умнее, а когда по конкретному типу действия у конкретной компании накопится история: сколько предложений было, сколько отклонено и почему.

Практическое следствие для руководителя — одобрения и отклонения нельзя считать технической мелочью. Это единственные данные, на основании которых через полгода можно будет обоснованно сказать: «вот здесь клик больше не нужен». Кто не собирает эту историю, так и останется между двумя крайностями — ручной работой и слепым доверием.

Одобрение делает уведомление приглашением к решению

Что это меняет в выборе инструмента? Спрашивать у поставщика AI-ассистента стоит не «насколько он автономен», а три вещи: какие действия исполняются без согласия человека, что проверяется до того, как предложение дойдёт до руководителя, и где видна история одобрений и отклонений. Если на первый вопрос ответ «всё», а на третий «нигде», это не продвинутая система, а риск, который вы берёте на себя.

Проверить на своих данных можно так, как мы строим пилоты по методу «Цель → метрика»: выбрать одну задачу — например, поручения с планёрок, — договориться, какая доля должна доходить до исполнения в срок, и через месяц сравнить с тем, что было до ассистента. Как устроен профиль, по которому ассистент формулирует предложения в стиле конкретного руководителя, — в статье цифровой слепок руководителя. Задачи, брифинг и контроль исполнения в 404ai ведёт агент компании Везория: всё, что меняет внешние системы, он приносит на одобрение.

Частые вопросы

Если не нашли ответа — напишите нам в Telegram, ответим за 15 минут.

Потому что цена ошибки в управленческих решениях выше, чем в большинстве AI-задач: переназначенная задача или напоминание не в том тоне не всегда легко откатить. Эта асимметрия делает полную автономию для CEO-инструмента антипаттерном, а не признаком осторожности разработчиков.
Ассистент формулирует предложение с обоснованием — например, поднять на контроль сделку, которая молчит девять дней, — и показывает кнопки «Одобрить / Отклонить». Действие — создание задачи, переназначение, отправка напоминания — исполняется только после явного согласия руководителя.
Нет, это разные этапы. Ассистент может полностью автономно сканировать компанию по расписанию и по запросу, сам находить затыки и формулировать предложения — здесь автономия уместна. Ограничение касается только момента исполнения действия: оно происходит исключительно после одобрения.
Да. До одобрения стоит поставить ещё два фильтра — защиту от галлюцинаций и дедупликацию: предложение должно опираться на реальные данные компании, а одна проблема не должна приходить к руководителю несколькими разными предложениями. Одобрение в клик — последний барьер, а не единственный.

Разберём, где нужно одобрение в один клик

Разберём на демо ваш сценарий контроля поручений и договоримся, какие действия требуют вашего согласия.

Разберём ваши звонкиПилот бесплатно
Обсудить задачу