«Мы слушаем выборку — этого достаточно» звучит разумно, пока не спросить, для чего именно достаточно. Оценить одного человека, сравнить двоих и поймать редкое нарушение — три разные задачи с разными требованиями к объёму. Разберём, сколько разговоров нужно для каждой и почему привычные 5% не подходят ни для одной.
Три разные задачи
Прежде чем считать объём, нужно определиться с вопросом. От него зависит всё.
- Оценить одного сотрудника. Понять, насколько он в среднем следует чек-листу. Самая простая задача.
- Сравнить двух сотрудников или две команды. Заметно сложнее: нужно, чтобы разница между ними превышала случайный разброс.
- Найти редкое событие. Нарушение регламента, конфликт, упущенный крупный клиент. Самая тяжёлая задача, и именно её выборка не решает в принципе.
Задача 1: оценить одного человека
Здесь работает интуиция: чем больше, тем точнее, и отдача быстро убывает. По двадцати разговорам общее представление уже складывается, по пятидесяти оценка становится устойчивой, дальнейший рост объёма меняет картину слабо.
Отсюда и берётся привычный порог в 50 звонков в месяц, ниже которого разбор перестаёт иметь смысл: меньший объём не отличает закономерность от случайности, и проверить работу проще руками.
Всё это верно для случайной выборки. Если разговоры отбираются по жалобам или по проигранным сделкам, объём не спасает: такая выборка смещена по построению и описывает не сотрудника, а совокупность неудач. Увеличение смещённой выборки повышает уверенность в неверном выводе.
Задача 2: сравнить двоих
Здесь требования резко растут, и это неочевидно. Чтобы утверждать, что один сотрудник выполняет пункт чек-листа чаще другого, разница должна быть больше случайного разброса — а он тем больше, чем меньше разговоров у каждого.
Практическое правило: чем меньше разница, которую нужно доказать, тем больше нужно наблюдений. Двукратный разрыв виден на нескольких десятках разговоров у каждого. Разница в несколько процентных пунктов требует уже сотен и по большинству отделов не доказывается вовсе.
Отсюда практический вывод для управления: не пытайтесь ранжировать весь отдел по мелким различиям. Разделение на верхнюю, среднюю и нижнюю группы устойчиво, а место в таблице между четвёртым и шестым менеджером — обычно шум.
Задача 3: найти редкое событие
Это тот случай, где выборка не работает не «плохо», а никак. Считается элементарно: доля события умножается на размер выборки.
| Звонков в месяц | Доля события | Выборка 5% | Найдётся в среднем |
|---|---|---|---|
| 2 000 | 1% | 100 звонков | 1 |
| 10 000 | 0,5% | 500 звонков | 2–3 |
| 10 000 | 0,1% | 500 звонков | менее 1 |
Вывод из последней строки практический и неприятный: пустой отчёт по редким событиям при выборочном контроле не означает, что их нет. Он означает, что их нечем было увидеть. Компания узнаёт о проблеме от клиента, от регулятора или из публикации — то есть тогда, когда реагировать уже поздно.
По этой же причине не собирается типология клиентов: категория, составляющая 5% базы, в пятипроцентной выборке представлена единицами наблюдений, и отличить её особенности от случайности невозможно.
Почему смещение опаснее объёма
Выборку в отделах почти никогда не формируют случайно. Слушают то, на что пожаловались, что сорвалось или что вызвало сомнения у руководителя. Это разумно с точки зрения экономии времени и катастрофично с точки зрения выводов.
- Средний уровень отдела по такой выборке систематически занижен.
- Сильные сотрудники в неё почти не попадают, поэтому лучшие практики остаются невидимыми.
- Успешные разговоры не разбираются, а именно они содержат то, что стоит тиражировать.
Смещение не лечится увеличением объёма — только изменением принципа отбора. Практически это означает либо честную случайную выборку, либо сплошной разбор.
Что делать, если звонков мало
Если объём ниже порога, статистика не поможет — и это нормально. Рабочие варианты:
- Расширить окно. Считать не за месяц, а за квартал: 40 звонков в месяц дают 120 за квартал, и на них уже видны закономерности.
- Считать по отделу, а не по людям. Общая картина по команде набирается быстрее, чем по каждому сотруднику.
- Смотреть разговоры целиком. При малом объёме разбор каждого звонка вручную реалистичен и полезнее любых процентов.
- Не привязывать премию к метрике. На малых числах случайный разброс легко перепутать с работой человека — это самый быстрый способ поссориться с отделом.
Коротко
- Сначала вопрос, потом объём: оценить одного, сравнить двоих и найти редкое событие — разные задачи.
- Порог в 50 звонков в месяц относится к первой задаче; сравнение требует больше, поиск редкого — сплошного разбора.
- Редкое событие выборкой не ловится: пустой отчёт означает отсутствие способа увидеть, а не отсутствие проблемы.
- Смещение выборки опаснее её размера и не лечится увеличением объёма.
- При малом объёме расширяйте окно, считайте по отделу и не привязывайте метрику к премии.
Как арифметика редких событий выглядит на практике — в кейсе отдела взыскания: там нарушения встречались в 0,4% разговоров и выборкой в 2% не находились в принципе. Что делать с найденными различиями между сотрудниками — в статье эталон из данных. Инструмент сплошного разбора — речевая аналитика Эхо.