Кейс онлайн-сервиса BotHelp: AI-бот самостоятельно решает 40% всех вопросов из чата и заменяет двух операторов

Как доверить AI-боту общение с пользователями и не потерять в качестве ответов? Своим опытом использования AI-бота от Carrot quest поделилась Татьяна Карпикова, руководитель отдела сопровождения клиентов в компании BotHelp. 

AI-бот от Carrot quest — это чат-бот на основе искусственного интеллекта. AI-бот обучается за 1 день на базе знаний, формирует ответ за 1 минуту и консультирует пользователей круглосуточно.

Татьяна рассказала в кейсе:

• почему решили подключить AI–бота,
• какие опасения были перед подключением и как с ними справились,
• какие решения рассматривали и почему выбрали AI-бота от Carrot quest,
• как дорабатывали качество ответов,
• как реагировали пользователи на общение с AI–ботом,
• как изменилась удовлетворенность пользователей от общения с отделом сопровождения,
• как изменилась работа операторов после подключения AI–бота,
• сколько получается экономить каждый месяц с помощью бота.

О компании

BotHelp — это удобная платформа для рассылок, автоворонок и чат-ботов в мессенджерах и соцсетях. Целевая аудитория — специалисты, которые используют инструменты BotHelp для автоматизации онлайн-продаж.

Мы подключили Carrot quest в 2022 году. Инструменты сервиса помогают собирать и прогревать лидов, а также отвечать на вопросы пользователей. До внедрения AI-бота мы настроили:

• триггерные email-рассылки,
• поп-апы,
• чат на сайте,
• welcome-бота,
• базу знаний для пользователей.

Почему решили подключить AI-бота 

База клиентов BotHelp увеличивается, и количество запросов в отдел сопровождения растет. Мы хотели автоматизировать ответы на простые повторяющиеся вопросы пользователей. Таких вопросов около 30–40%. 

С помощью AI-бота мы планировали:

• сэкономить на найме новых сотрудников,
• ускорить ответы пользователям,
• сфокусировать операторов на решении более сложных вопросов.

Почему выбрали AI-бота от Carrot quest

Мы рассматривали вариант AI-бота, который будет написан специально под нас. Но отказались, потому что не устроили стоимость и сроки такого решения: 2–3 млн рублей на старте проекта плюс ежемесячная подписка, длительность внедрения около 3 месяцев.

Выбрали готовое решение от Carrot quest, потому что это:

• дешевле — мы можем 4,5 года использовать AI-бота Carrot quest на сумму, которая требовалась для разработки уникального бота под нас;
• быстрее — AI-бот обучается за 1 день на базе знаний;
• удобнее — не пришлось привлекать программистов, все вопросы решали через поддержку Carrot quest и с помощью настроек AI-бота в личном кабинете;
• надежнее — не нужна была интеграция AI-бота с чатом, потому что все инструменты находятся внутри одного сервиса.

Как внедряли AI-бота: опасения сотрудников, улучшение качества ответов, доработка бота

Проверили ответы AI-бота

Вместе с командой Carrot quest мы обучили AI-бота на основе нашей базы знаний, которая опубликована в Carrot quest. А затем попросили бота ответить на частые вопросы из чата и выгрузили его ответы.

В первой выгрузке почти 50% ответов AI-бота были неверными. Но с каждой итерацией количество некорректных ответов уменьшалось. Сейчас бот дает около 2,5% неверных ответов на 4 000 вопросов, для нас это приемлемый показатель.

Улучшили качество ответов AI-бота

Чтобы в 20 раз сократить количество некорректных ответов мы доработали базу знаний и скорректировали tone of voice.

Доработка базы знаний. AI-бот показывает источники данных, которые он использовал для ответа. Мы отредактировали статьи из базы знаний, на основе которых он формировал неверные ответы. Также AI-бот не может считывать информацию со скриншотов, поэтому мы добавили текстовые описания в статьи.

Скорректировали tone of voice. Изначально бот давал ответы неформально, но нам это не подходило, потому что бот мог не поздороваться с пользователем или отвечать панибратски. В настройках бота изменили стиль общения на нейтральный: бот стал отвечать дружелюбно, но вежливо.

Определились, как бот будет обращаться к пользователям:

Наши пользователи привыкли получать развернутые ответы, поэтому в настройках установили подходящую нам длину ответов бота:

В первых итерациях было много неточных ответов, потому что бот был слишком «креативным»: он по-своему интерпретировал данные из базы знаний, если не мог найти нужный ответ. Поэтому мы уменьшили его «креативность» в настройках. Теперь он отвечает в соответствии с базой знаний, а если не нашел информацию, то зовет оператора.

Вместе с командой Carrot quest доработали бота так, чтобы он не использовал слово «проблема» в своих ответах. Хотели, чтобы бот отвечал более позитивно.

Протестировали AI-бота на одной ветке welcome-бота

Чтобы проверить работу AI-бота в деле, мы добавили его на одну из веток welcome-бота. Выбрали вопрос про оплату и закрывающие документы, потому что этот раздел в базе знаний был максимально подробно описан.

Мы не знали, как наши пользователи отнесутся к общению с AI-ботом, потому что они привыкли к живому общению с операторами. Но решили быть честными с клиентами и сразу предупреждали, что отвечать им будет AI-бот.

Результаты теста AI-бота. Негатива от пользователей не получили. Наоборот, клиенты были рады, что могут получать ответы круглосуточно, не приходится ждать, когда операторы начнут работать. На некорректные ответы бота реагировали спокойно, потому что бот сразу предлагал позвать оператора, если не находил нужную информацию.

Нас устроили ответы AI-бота на одной ветке welcome-бота, поэтому мы решили сделать его оператором первой линии поддержки и переводить на него все вопросы из чата.

Перевели на AI-бота все вопросы из чата

На все вопросы из чата сначала отвечает AI-бот, а если не находит нужную информацию, то зовет оператора.

Бот самостоятельно решает около 40% вопросов из чата:

Уровень удовлетворенности пользователей не снизился после внедрения AI-бота. Средняя оценка качества работы отдела сопровождения — 4,8, в июне 2024 года AI-бот получил оценку 4,83.

Перед внедрением AI-бота операторы переживали, что он будет некорректно отвечать. Мы объясняли, что если они помогут доработать бота, он освободит их от однотипных вопросов. Поэтому операторы активно участвовали и продолжают участвовать в обучении бота: находят неверные ответы, предлагают доработать статьи из базы знаний. 

Сейчас AI-бот самостоятельно решает практически все повторяющиеся вопросы. Операторы занимаются сложными кейсами, где нужен творческий подход. Это помогает не выгорать от рутины.

Как оплачиваем AI-бота: система тарификации

Стоимость подписки зависит от количества диалогов, которые попадают на AI-бота. 

Диалог — это неограниченное количество сообщений в рамках одного разговора в чате. Например, пользователь задает вопрос, AI-бот отвечает, пока у пользователя не останется вопросов. Если после установленного тайм-аута пользователь не вернулся с вопросом, диалог считается закрытым — это один диалог. Если бот не нашел ответ и позвал оператора, это тоже считается диалогом. Минимальный пакет — 1 000 диалогов.

Нам удобна такая система тарификации, потому что не нужно высчитывать, на какое количество вопросов ответил бот в каждом диалоге.

Результаты

AI-бот самостоятельно решает простые повторяющиеся вопросы, поэтому операторы уделяют больше времени сложным кейсам. Уровень удовлетворенности вырос, потому что пользователи быстрее получают ответы на свои вопросы, даже в нерабочее время операторов. 

	До внедрения AI-бота	После внедрения AI-бота	Пояснение
Количество сотрудников		Не изменилось	Планировали нанимать еще двоих операторов, но с подключением AI-бота такая необходимость отпала. Мы экономим около 40 000 рублей ежемесячно за счет того, что не расширяем штат.
Количество вопросов, которые обрабатывают операторы	10 000	6 000	AI-бот самостоятельно решает 40% вопросов, поэтому операторы могут больше времени уделять сложным кейсам.
Время первого ответа		На 21% ускорили первый ответ	После подключения AI-бота пользователи получают ответ на свой вопрос на 30 секунд быстрее.
Оценка удовлетворенности пользователей	4,8	4,85	Уровень удовлетворенности пользователей вырос, потому что теперь клиенты получают ответы на свои вопросы круглосуточно.