Риски внедрения ИИ: что чаще всего ломается

Риски внедрения ИИ в небольшой компании сводятся к четырём вещам: нейросеть уверенно сообщает клиенту неправду, данные компании уходят в чужой сервис, вы попадаете в зависимость от одного подрядчика с закрытыми настройками, а команда либо сопротивляется, либо прикрывает новым инструментом безделье. Всё остальное — производные от этих четырёх. Ниже разберём каждый: в чём он состоит, как выглядит на практике и что делать конкретно.

Сразу оговорка про тон. Это не текст о том, что ИИ опасен и трогать его не надо. И не текст о том, что все проблемы внедрения ИИ выдуманы скептиками. Часть рисков реальна, часть снимается настройкой процесса за неделю, а часть означает, что вам сейчас рано. Разделить эти три категории — и есть вся работа.

Риск 1: нейросеть выдумывает факты в переписке с клиентом

Главная особенность нейросети: она всегда отвечает. Если она не знает, есть ли товар на складе и действует ли скидка, она не скажет «не знаю» — она составит правдоподобный ответ и выдаст его тем же уверенным тоном, что и правильный. Внешне неправильный ответ ничем не отличается от правильного, и в этом вся сложность.

На практике это выглядит так. Клиент спрашивает про сроки — нейросеть уверенно сообщает «отгрузим за три дня», хотя в вашем регламенте написано «от пяти». Клиент спрашивает про гарантию — она называет год вместо шести месяцев. Дальше клиент приходит с этой перепиской и требует то, что ему пообещали, и формально он прав: обещание пришло с вашего номера.

Риск не в том, что нейросеть ошибается — люди ошибаются тоже. Риск в том, что она ошибается уверенно, быстро и сразу в большом количестве переписок. Один менеджер напутает с гарантией дважды за неделю, автоматический ответ — двести раз.

Что делать конкретно. Во-первых, ограничьте область: нейросеть отвечает только на вопросы, ответы на которые лежат в вашем документе — прайс, регламент, условия доставки. Всё, чего в документе нет, переводится на человека. Во-вторых, запретите называть цифры и обещать сроки в свободной форме — цены, сроки, гарантии и условия возврата подставляются из вашего файла, а не сочиняются.

В-третьих, самое важное: перед запуском прогоните сотню реальных вопросов из вашей переписки и прочитайте ответы глазами. Не десять — сотню. Именно на этом объёме видно, где нейросеть начинает додумывать. Подробнее про то, как устроен такой сценарий ответов, — в статье про чат-бот для сайта.

Риск 2: данные компании уходят в чужой сервис

Второй риск понятнее первого, но его чаще недооценивают. Когда вы подключаете ИИ-сервис к своей переписке или к CRM, вы физически передаёте данные наружу — они уходят на чужие серверы, где обрабатываются и какое-то время хранятся. Это не заговор, это устройство любого облачного сервиса, включая почту и бухгалтерию, которыми вы уже пользуетесь.

Вопрос не в том, уходят данные или нет. Вопрос в трёх вещах: куда именно они уходят, что с ними там делают и что вы сможете предъявить, если что-то пойдёт не так. Ответы на первые два ищутся не в рекламе на главной странице, а в условиях использования и в политике обработки данных — то есть в скучных документах внизу сайта.

Что там смотреть. Где находятся серверы. Сколько времени хранится переписка и можно ли потребовать её удаления. Используются ли ваши данные для обучения — многие сервисы это делают по умолчанию, но позволяют отключить. Кто со стороны подрядчика имеет доступ к вашим материалам. Есть ли у сервиса юридическое лицо в России, с которым можно подписать договор, и что в этом договоре написано про ответственность.

Отдельно и жёстче — про персональные данные ваших клиентов: имена, телефоны, адреса, всё, по чему человека можно опознать. Это отдельная зона ответственности, она регулируется отдельно (152-ФЗ), и требования там не сводятся к «мы никому не передаём». Это не тема, которую закрывают галочкой в настройках сервиса, — проверяйте её с юристом до запуска, а не после. Здесь я сознательно не даю рекомендаций: это вопрос не про ИИ, а про право.

Практический выход из положения простой. Начинайте с процессов, где персональных данных нет или почти нет: разбор входящих обращений без контактов, подготовка текстов, сводка по продажам в обезличенном виде. И не называйте конкретные сервисы «безопасными» или «небезопасными» со слов знакомого — читайте их условия сами, они меняются.

Риск 3: зависимость от одного подрядчика и закрытых настроек

Третий риск проявляется не сразу, а через полгода-год. Подрядчик настраивает вам сценарии ответов, правила обработки заявок, связки между сервисами — и всё это живёт у него. У вас на руках работающий результат и счёт за поддержку. У него — устройство системы.

Дальше сценарии расходятся одинаково. Подрядчик поднимает цену — уйти нельзя, потому что всё придётся собирать заново. Подрядчик пропадает, болеет, распускает команду — система работает, но менять в ней ничего нельзя. Или система сломалась после обновления сервиса, а человек, который понимал, как она устроена, недоступен. Ваш бизнес при этом продолжает продавать — вернее, не продолжает.

Отдельная неприятность — накопленные настройки. За год работы вы вложили в систему знание: сотни правил, исключений, формулировок, которые работают именно на вашей аудитории. Это ценность, сравнимая с базой клиентов. Если она хранится в чужом кабинете и не выгружается, вы её при переезде потеряете.

Что делать. До старта задайте подрядчику три вопроса и получите ответы письменно. Первый: в каком виде я смогу забрать все настройки и тексты, если мы расстанемся, — и попросите показать пример выгрузки. Второй: на чьё имя оформлены доступы к сервисам, где всё это работает — на ваше юрлицо или на подрядчика. Третий: что произойдёт с системой, если мы не продлим поддержку на месяц.

Здоровый признак — когда доступы оформлены на вас, а подрядчик работает в вашем кабинете как приглашённый сотрудник. Тревожный — когда на любой вопрос «а можно нам самим посмотреть?» отвечают «там всё сложно, мы сами сделаем». Это не всегда злой умысел, но результат одинаковый.

Риск 4: сопротивление команды и имитация работы

Четвёртый риск — единственный, который нельзя решить настройкой. Люди понимают внедрение ИИ как «нас готовят к увольнению», и ведут себя соответственно: формально соглашаются, а на деле продолжают работать по-старому. Инструмент оплачен, открывается два раза в неделю, толку ноль.

Есть и обратная крайность, о которой говорят реже. Сотрудник начинает прикрывать нейросетью собственное безделье: отправляет клиенту сгенерированный текст не читая, отвечает «это ИИ так написал» на любую претензию, а сложные случаи откладывает, потому что «система пока не умеет». Формально загрузка выросла, фактически качество работы упало, а ответственность размылась.

Обе крайности растут из одного корня — из неясности, кто теперь за что отвечает. Пока это не проговорено, каждый достраивает картину сам, и достраивает в худшую сторону.

Что делать конкретно. Скажите прямо, что меняется и что не меняется: какие задачи уходят к нейросети, какие остаются у человека, меняется ли численность. Если сокращений не планируется — скажите это открыто; если планируются, врать бессмысленно, всё равно узнают. Дальше запишите в регламент простое правило: ответственность за отправленный клиенту текст несёт сотрудник, который его отправил, независимо от того, кто его составил. «Так написала нейросеть» перестаёт быть объяснением в тот момент, когда это записано.

И третье: возьмите в пилот того, кто сам вызвался, а не самого загруженного. Человек, которому интересно, за две недели найдёт способ применить инструмент. Человек, которого назначили, за две недели найдёт способ доказать, что инструмент не работает.

Как проверить, какой из рисков актуален именно для вашей компании

Не все четыре риска касаются каждого. Пройдите короткий чек-лист по процессу, который вы собираетесь автоматизировать первым, и отметьте честные ответы.

Общается ли нейросеть напрямую с клиентом без проверки человеком? Если да — риск 1 для вас основной, и без ручной проверки на выходе запускаться нельзя. Если результат читает сотрудник перед отправкой, риск падает до уровня обычной опечатки.

Попадают ли в сервис имена, телефоны, адреса или суммы сделок ваших клиентов? Если да — риск 2 основной, и разбираться с условиями сервиса нужно до запуска, а не в процессе. Если вы обрабатываете обезличенные тексты — риск есть, но он на порядок меньше.

Есть ли внутри компании хоть один человек, который понимает, как всё настроено, и может это показать? Если такого человека нет и все настройки у подрядчика — риск 3 накапливается прямо сейчас, просто вы его пока не чувствуете.

Понимает ли команда, что именно меняется в их работе и как теперь оценивается результат? Если нет — риск 4 сработает независимо от качества инструмента.

Записав четыре ответа, вы получите не абстрактный вопрос «к чему приведёт внедрение ИИ», а список из одного-двух пунктов, которыми надо заняться. Обычно у небольшой компании реально горят один-два, а не все четыре.

Как снизить риск: один процесс, обратимый пилот, человек на выходе

Все четыре риска резко уменьшаются, если соблюдать три условия одновременно. Их стоит запомнить как формулу: один процесс, обратимость, человек на выходе.

Один процесс. Не «внедряем ИИ в компании», а «обрабатываем входящие обращения с сайта в нерабочее время». Узкая задача с понятным началом и концом, с измеримым результатом и одним ответственным. Когда процесс один, вы видите, что именно сломалось; когда их пять, вы видите только, что «не пошло».

Обратимость. До запуска запишите, как вы всё вернёте назад: кто снова начнёт делать это руками, за сколько часов, и что для этого нужно. Если ответа нет — вы не запускаете пилот, вы делаете необратимую перестройку и надеетесь на лучшее. Обратимый пилот — это не осторожность, это способ не бояться и потому не тянуть с запуском. По той же причине первый шаг стоит делать на инструменте, который можно взять и оставить без длинного договора: попробовать АТОМ бесплатно на одном процессе — нормальный способ проверить гипотезу на своих задачах, а не на чужих обещаниях.

Человек на выходе. Первые недели каждый результат, который уходит наружу — клиенту, партнёру, в отчёт для банка, — читает сотрудник. Это не признак недоверия к технологии, это способ набрать статистику ошибок. Через две-три недели вы увидите, в каких категориях запросов ошибок нет вообще, — вот их и можно отпускать без проверки, по одной за раз.

Срок пилота — две-четыре недели. Критерий успеха формулируется до старта, в цифрах и без прилагательных. Допустим: «время первого ответа клиенту падает с сорока минут до пяти, доля ответов, которые пришлось переписать, — меньше одного из десяти». Если критерий не выполнен — пилот закрывается, и это нормальный результат, а не провал.

Так, кстати, честнее считаются и преимущества внедрения ИИ. Не «мы стали современнее», а конкретно: столько-то часов освободилось, столько-то обращений перестало теряться ночью, столько-то стоило. С такими цифрами разговор о расширении на второй процесс становится коротким.

Как выбрать этот один процесс и что считать результатом пилота — в статье внедрение ИИ в бизнес.

Когда внедрять ИИ рано — честный список

Есть ситуации, в которых любой пилот закончится ничем — независимо от инструмента и подрядчика. Их четыре, и они не про технологии.

Первое: процесс не описан. Если на вопрос «как у нас обрабатывается заявка» три сотрудника дают три разных ответа, автоматизировать нечего. Нейросеть не наведёт порядок в хаосе — она его ускорит. Сначала опишите последовательность шагов на одном листе, хотя бы грубо.

Второе: нет данных. Нейросети нужны ваши материалы: прайс, условия, типовые ответы, история переписки. Если всё это живёт в голове у собственника и в личных переписках менеджеров, сначала соберите это в один документ. Часто на этом шаге половина проблемы решается без всякого ИИ.

Третье: некому вести. Нужен человек внутри компании, который отвечает за пилот и тратит на него хотя бы несколько часов в неделю: смотрит ответы, отмечает ошибки, правит правила. Если все загружены на сто процентов и свободных часов нет — пилот тихо умрёт на второй неделе, а вы решите, что технология не работает.

Четвёртое: задача разовая. Разобрать один раз архив из пятисот документов, написать один текст, свести одну таблицу — для этого не нужно ничего внедрять. Автоматизация окупается на повторяемости: если действие происходит реже раза в неделю, дешевле сделать руками.

Ни один из этих пунктов не означает «ИИ вам не подходит». Они означают «сначала другое». Описанный процесс, собранные в одном месте материалы и человек с несколькими свободными часами в неделю — это и есть подготовка, после которой внедрение перестаёт быть лотереей.