Полезную ИИзацию можно проверить до большого внедрения
Начинать стоит не с вопроса «куда поставить ИИ», а с конкретного потока работы. Возьмите обработку заявки, подготовку урока, проверку документа или выпуск карточки товара. Отметьте входные данные, шаги, время, частые ошибки, исключения и человека, который отвечает за итог. Если процесс нельзя объяснить без двадцати стрелок и трёх слов «обычно», модель не исправит неопределённость сама.
Сначала зафиксируйте исходный уровень. Сколько минут занимает случай? Сколько стоит час работы? Какова доля возвратов и исправлений? Что происходит с дорогой ошибкой? Без этой точки команда легко празднует тысячу генераций, не замечая, что конечный результат стал дороже.
Разделите генерацию, проверку и решение. ИИ может предложить ответ, человек или другая система проверить формальные условия, а уполномоченный сотрудник принять решение. Чем выше возможный ущерб, тем важнее независимость проверки. Модель не должна подтверждать собственную правоту тем же запросом и теми же данными.
Проверьте зубчатую границу на своих случаях. Соберите обычные примеры, редкие исключения, плохие входные данные и ситуации, где правильного ответа нет. Сравните новый процесс со старым через калькулятор A/B-тестов, если есть достаточное количество независимых наблюдений. Среднее улучшение не должно прятать провал в маленькой, но дорогой группе.
Посчитайте законченную экономику. Учитывайте цену модели, интеграции, хранения данных, ручной проверки, исправлений и поддержки. Для повторяемой операции удобно посчитать эффект на один заказ или обращение, затем проверить, выдерживает ли он реальный объём.
Эффект = стоимость сэкономленного времени + предотвращённые потери - ИИ - интеграция - проверка - новые ошибки
Допустим, поддержка обрабатывает 10 000 сообщений в месяц. ИИ экономит две минуты на сообщении, то есть около 333 часов. При полной стоимости часа 800 рублей экономия времени составляет примерно 266 000 рублей. Модель, интеграция и контроль стоят 180 000 рублей, предварительный эффект равен 86 000 рублей в месяц.
Теперь добавим пятьдесят неправильных решений, каждое из которых обходится в среднем в 5 000 рублей из-за возврата, компенсации и повторной работы. Потери составят 250 000 рублей. Красивый проект превращается в минус 164 000 рублей. Ошибку нельзя считать последней строчкой мелким шрифтом, иногда она и есть вся экономика.
Оцените изменение во времени. Большое внедрение требует подготовки данных, разработки и обучения до первой экономии. Будущие эффекты нужно дисконтировать, то есть уменьшить с учётом времени и риска. Для этого подходит расчёт NPV и срока окупаемости. Положительный месяц ещё не делает положительным весь проект.
Сохраните возможность отступить. Должны существовать журнал решений, ручной режим, понятный владелец процесса и способ заменить модель. ИИзация без наблюдаемости быстро превращается в спиритический сеанс: ответ появился, все записали, кто его вызвал и почему он прав, никто не знает.
Наконец, проверьте цель. ИИ хорошо помогает выбирать средство, но не сообщает, ради чего система существует. Компания может идеально оптимизировать рекламу бесполезного продукта, студент написать безупречную работу, которую не понял, а человек автоматизировать занятие, которое давало ему смысл. Для такого вопроса полезнее не ещё один показатель, а разговор об икигай, пользе и личной ценности работы.
Что хочется сказать в конце. Зрелая ИИзация измеряется не количеством агентов и не долей текстов, написанных машиной. Она измеряется способностью системы ясно ответить на три вопроса: что поручили ИИ, как проверили результат и кто принял решение. Если эти ответы существуют, технология расширяет человека. Если нет, она всего лишь делает неопределённость быстрее.