У каждой компании, которая работает с ИИ, рано или поздно наступает один и тот же момент: система отвечает уверенным тоном, и ответ оказывается неверным.
Это не значит, что система сломалась. Языковые модели работают на вероятностях; когда имеющихся сведений не хватает, они могут построить самую правдоподобную фразу вместо того, чтобы промолчать. Дело не в том, что ответ может быть неверным, а в том, что неверный ответ приходит тем же тоном, что и верный.
В этой статье разбираем, почему появляются неверные ответы, когда они действительно важны и где при внедрении ставить контроль.
🔍 Запомните: Привести ИИ в компанию — это не сделать вид, что ошибок не бывает, а заранее решить, куда ошибка упадёт. Попадёт ли ответ к клиенту, на экран сотрудника или в поле согласования — решается при внедрении.
Почему ИИ отвечает неверно?
Единственной причины обычно нет. Чаще других при внедрении встречаются четыре.
Сведений нет или они устарели
Модель читает тот источник, который ей дали. Если прайс не обновляли, если снятая позиция всё ещё висит в каталоге или изменение правила живёт только в чьей-то голове, ответ строится на этих старых сведениях. Виноват здесь источник, а не модель.
Вопрос расплывчатый
Вопрос вроде «что мне делать с этим заказом?» без контекста допускает несколько верных ответов. Модель выбирает один и обосновывает выбор. Человек-коллега переспросил бы; система же может пойти дальше на допущении.
Заполнение пробела
Если в источнике ответа нет, модель может составить его по образцам из похожих текстов. Такое поведение часто называют галлюцинацией. Получившаяся фраза безупречна по языку и выдумана по содержанию. Это ошибка, которая прячется.
Источник верный, контекст чужой
Сведения верны, но относятся к другому случаю. Условие для одной группы клиентов озвучивается всем, потому что в системе не задано различение. По одному такие ошибки выглядят правильными, поэтому замечают их поздно.
Не всякая ошибка весит одинаково
Относиться ко всем ошибкам с одинаковой строгостью — значит утяжелить внедрение, и этот вес никто не вынесет. Различение идёт по тому, чего ошибка касается.
- Ошибки, остающиеся внутри: сотрудник видит неверный ответ, поправляет его, работа идёт дальше. Цена невысока.
- Ошибки, доходящие до клиента: неверные сведения уходят наружу. Это уже не технический вопрос, а вопрос доверия.
- Ошибки с деньгами или правом: цена, скидка, условие договора, персональные данные. В этой группе лучше, чтобы ответ не уходил напрямую.
Без такого различения внедрения обычно оказываются на одном из двух краёв: либо каждый ответ ждёт согласования и система замедляется, либо узел согласования не строится вовсе и первая серьёзная ошибка случается на глазах у клиентов.
Где ставить человеческое согласование?
Согласование ставят там, где ошибка может дорого обойтись, а не на каждом шаге системы. На практике могут работать три размещения.
Узел согласования
Ответы заданного типа попадают на экран человека до отправки. Он согласует, правит или отклоняет. Узел работает только на выбранных потоках, остальное идёт без ожидания.
Остановка при неуверенности
Систему можно настроить так, чтобы она передавала вопрос вместо ответа, если в источнике нет соответствия. Фраза «передаю коллеге» лучше выдуманного ответа. Это поведение прописывается при внедрении и само собой не появляется.
Граница полномочий
Что система вправе делать сама, стоит зафиксировать письменно: она может дать справку и завести обращение, но не может изменить цену или подтвердить возврат. Если граница не написана, границы нет.
Опора ответа на собственные документы
Самый прямой путь против неверных ответов — заставить модель отвечать по документам самой компании, а не по своим свободным знаниям. Система принимает вопрос, находит нужный документ и опирает ответ на него.
Отсюда могут появиться две побочные выгоды. Первая — источник можно показать рядом с ответом: видно, на какой документ он опирается, и проверка становится простой. Вторая — источник остаётся в компании. Где лежат данные и куда они уходят — отдельная тема, разобранная в статье куда уходят ваши данные.
Опора на источник делает и сам источник зоной ответственности. Если документ устарел, устареет и ответ. Поэтому рано договариваются, какой документ считается действующим и кто его ведёт.
Что делать, когда появился неверный ответ?
Поправлять их поодиночке недостаточно; нужно дойти до причины, чтобы та же ошибка не вернулась. Порядок может быть таким:
- Случай сохраняется вместе с записью: что спросили, на какой источник опирались, кто видел.
- Причина отделяется: устаревший источник, расплывчатый вопрос или заполненный пробел.
- Если источник устарел, документ обновляют и назначают ответственного за него.
- Если вопрос был расплывчатым, систему настраивают на встречный вопрос.
- Если пробелы заполняются, эта тема уходит в узел согласования или на передачу человеку.
Без письменного порядка ошибки обсуждаются поодиночке, и одна и та же возвращается несколько раз. Где буксуют проекты, мы разбирали отдельно в статье почему проекты автоматизации проваливаются.
Почему важны записи
Если система не помнит, что сказала, из ошибки нельзя извлечь урок. При взгляде назад запись должна отвечать на такие вопросы: когда пришёл вопрос, что было отвечено, на какой документ опирался ответ, прошёл ли он согласование, кто согласовал.
Такая запись — ещё и доказательство. Когда клиент говорит «ваша система сказала иначе», разговор опирается на журнал, а не на память.
Что сказать клиенту?
Знание о том, что собеседник — система, доверия не портит; порча начинается, когда об этом узнают позже. Ясная представляющая фраза и путь к человеку стоят в начале разговора.
Если ошибка всё же ушла наружу, лучший путь — поправить без промедления и простыми словами сказать, что пошло не так. Как строятся клиентские потоки, описано в статье автоматизация клиентского сервиса.
Вопросы до начала внедрения
Если эти вопросы задать в начале проекта, значительная часть последующих споров может оказаться лишней.
- Из какого источника система будет строить ответы?
- Кто обновляет этот источник и как часто его пересматривают?
- Какие ответы могут уходить наружу без человека?
- Что делает система, когда не уверена?
- Кого извещают, если замечен неверный ответ?
- Где хранятся записи разговоров и кто может их видеть?
Ответы у каждой компании свои. Если хотите разобрать описание процессов на практике, наша серия обучения проходит эти темы шаг за шагом.
Как мы работаем
Сначала мы определяем, из какого источника будут строиться ответы. Затем вместе прописываем, какие ответы проходят согласование и что система делает при неуверенности.
Мы не предлагаем внедрение, которое делает вид, что ошибок не бывает. Вместо этого мы решаем, куда ошибка упадёт, ведём её запись и встраиваем путь исправления в само внедрение.
Часто задаваемые вопросы
Как мы заметим, что ИИ ответил неверно?
Заметить это одним чтением трудно, потому что неверный ответ написан тем же языком, что и верный. На практике помогают три вещи: показ источника рядом с ответом, человеческое согласование по чувствительным темам и выборочное чтение записей разговоров через равные промежутки. Отклики клиентов вроде «у меня записано иначе» тоже стоит собирать как отдельный канал.
Обязательно ли человеку согласовывать каждый ответ?
Обычно нет, и проведение каждого ответа через согласование может сделать систему непригодной. Различение идёт по типу ответа: справочные, заводящие обращение и маршрутизирующие ответы в большинстве компаний могут уходить напрямую. Ответы про цену, скидку, условие договора, возврат или персональные данные можно отправлять в узел согласования. Этот список пишется при внедрении и со временем пересматривается.
Может ли система научиться говорить «я не знаю»?
Это не столько вопрос обучения, сколько вопрос настройки. Когда в источнике нет соответствия, систему можно построить так, чтобы она передавала тему человеку, а не сочиняла ответ. Формулировка такой передачи, её адресат и срок, в который клиенту стоит ждать возврата, определяются в том же внедрении. По умолчанию такого поведения нет, его нужно прописать.
Кто отвечает за вред от неверного ответа?
Ответственность смотрит на сторону, которая эксплуатирует систему, а не на саму систему, поэтому границы внедрения стоит закрепить в договоре. Если заранее оговорено, какие ответы проходят человеческое согласование, сколько хранятся записи и как сообщается о замеченной ошибке, спор не откладывается на потом. Если ваша отрасль регулируется, эти пункты стоит составлять вместе с юридическим советником.
Может ли система, опирающаяся на наши документы, всё же ответить неверно?
Да, но меняется вид ошибки. В системе с опорой на источники выдуманные ответы становятся редкими; на первый план выходит выбор не того документа или перенос верного документа в чужой контекст. Такие ошибки видны легче, потому что документ, на который опирается ответ, стоит рядом с ним. Поэтому поддержание источника в актуальном состоянии — постоянная часть внедрения.
Определим Вместе, Откуда Берутся Ваши Ответы
Прежде чем предлагать внедрение, мы обсуждаем источник, точки согласования и путь системы при неуверенности.
💬 Запросить предложение в WhatsAppЗаключение
Неверный ответ ИИ — не поломка, а следствие того, как эти системы работают. Поэтому вопрос внедрения не «может ли случиться ошибка», а куда она упадёт.
Опереть ответы на собственные источники компании, отправить чувствительные ответы в узел согласования, прописать остановку при неуверенности и вести записи разговоров. Когда эти четыре вещи на месте, ошибка не исчезает, но становится видимой и исправимой.