Внедрение ИИ-агентов

Как измерять результат пилота с ИИ-агентом: метрики для руководителя

· Читать: 4 мин

Измерять результат пилота с ИИ-агентом нужно по заранее выбранным показателям процесса. Это метрики для руководителя: время на задачу, поток обращений, качество результата и нагрузка на людей. Ниже шаблон отчёта.

Что зафиксировать до запуска пилота

Сравнивать можно только с тем, что записано заранее. Перед стартом выберите один процесс, например обработку входящих заявок или подготовку актов, и несколько недель собирайте о нём простые данные без всякой автоматизации.

Нужны три-четыре показателя, не больше. Чем их больше, тем труднее объяснить итог:

  • время от получения задачи до готового черновика документа;
  • число задач, которые сотрудник успевает обработать за рабочий день;
  • доля возвратов и исправлений после проверки руководителем;
  • субъективная оценка нагрузки: опрос сотрудников по короткой шкале.

Для компании в Беларуси это может быть, например, подготовка накладных и актов для контрагентов в 1С или разбор входящих писем с заявками. Выбирайте процесс, где результат виден в документах и его можно сравнить с прошлым периодом без споров.

Образец таблицы замеров

Таблицу удобно вести в Excel или Google Таблицах. Одна строка соответствует одному показателю, столбцы повторяются для каждого периода замера.

ПоказательКак измеряется до пилотаКак измеряется во время пилотаКто отвечает
Время на задачуСекундомер или отметки в журнале у нескольких сотрудниковТе же отметки, но с учётом проверки черновикаРуководитель отдела
Поток задач за деньКоличество закрытых заявок в системеКоличество закрытых заявок в той же системеАдминистратор системы
Возвраты и правкиОтметки о замечаниях при проверкеТе же отметки по черновикам агентаКонтролёр или старший сотрудник
Нагрузка на людейКороткий опрос участниковПовторный опрос тех же людейРуководитель пилота

Как заполнять шаблон во время пилота

  1. Назначьте одного владельца замеров

    Один человек собирает данные и отвечает за их полноту. Если замеры ведут все понемногу, в итоговой таблице появляются пропуски, которые нечем закрыть.

  2. Фиксируйте условия

    Запишите, какие системы подключены, какие правила заданы агенту и что требует подтверждения человека. Без этого непонятно, из-за чего изменился результат.

  3. Отмечайте случаи, когда агент ошибся

    Ошибки и неточные черновики нужны не для обвинений. Они показывают, где поправить роль и правила агента, прежде чем расширять пилот.

  4. Сверяйтесь с командой

    Раз в неделю коротко обсуждайте цифры с участниками. Люди видят то, чего нет в таблицах: неудобные шаги, странные формулировки, лишние подтверждения.

Образец итоговой записи для руководителя

Итоговый отчёт должен умещаться на одной странице. Образец записи, которую можно взять за основу: Процесс: подготовка черновиков актов. Участники: бухгалтерия, несколько сотрудников. Что измеряли: время на документ, возвраты, нагрузку. Что изменилось: указать по каждому показателю в словах и числах из таблицы. Что осталось за людьми: проверка и подписание. Решение: продолжить, изменить правила или остановить.

Для платформы вроде Coagent это обычная практика: агент готовит черновики и сводки, а проверка и решение остаются за человеком, поэтому в отчёте стоит отдельно описывать, как часто черновик принимали без правок.

Чего не стоит считать результатом пилота

Руководителю в отчёте легко подсунуть красивое, но бесполезное число. Следите, чтобы в итоги не попали такие показатели:

  • число запросов к агенту само по себе: оно показывает активность, но не пользу;
  • впечатление одного энтузиаста из команды;
  • сравнение с периодом, когда в отделе был другой сезонный поток;
  • отзывы о скорости без сравнения качества результата;
  • экономию, которую посчитали по теоретическим нормам, а не по фактическому времени.

Выберите один процесс и заведите таблицу замеров, чтобы пилот закончился понятным решением.

С чего начать у вас

Опишите процесс, который хочется разгрузить. Разберём его вместе и покажем, как агент возьмёт его в работу. Отвечаем в рабочее время.

  • Роли и права агента задаются вашими словами
  • Подключение к вашим системам настраиваем вместе с вашим специалистом
  • Начнём с одного процесса и покажем результат на ваших данных

Можно и без формы: +375 44 474-49-50 · hello@coagent.by