Автоматизация ответов Поддержки ВКонтакте: как это было

Катя Лебедева, руководитель Команды Поддержки ВКонтакте, и Павел Калайдин, на лето — руководитель Команды прикладных исследований VK, поделились предысторией создания модели для автоматической генерации ответов на вопросы пользователей, а также планами на будущее относительно внедрения системы.

В среднем в Поддержку приходит 250 тысяч вопросов в месяц, и эта цифра постоянно растёт, так как растут темпы разработки. Вводятся новые фичи, сама ВКонтакте как большая экосистема постоянно расширяется. Тем не менее количество Агентов практически не меняется. В августе Команде Поддержки исполнилось 8 лет — за эти годы были даны 32 миллиона ответов на вопросы и накоплено много данных и ответов пользователям в базе.

Чтобы усовершенствовать поддержку, ВКонтакте стали смотреть, что делают ребята, работающие в таких же сферах. Последние несколько лет появился тренд на автоматизацию ответов через чат-ботов, через подсказки, FAQ. Посмотрев на то, как это устроено у других, Команда поняла, что с имеющимися вводными данными, гигантской накопленной базой может придумать и осуществить гораздо лучше. К тому же есть не только данные, но и Команда прикладных исследований.

Начало автоматизации

С 2015 года Агенту Поддержки при ответе на вопрос показывалась статья из сборника с несколькими тысячами статей о том, как устроен ВКонтакте. Всё это накоплено за много лет. Имея эти данные, ВКонтакте решили попробовать сделать полностью автоматическую генерацию ответов, при этом даже заранее не зная, что сгенерируется системой, из-за чего порой поначалу ответы получались довольно смешные.

Разработчики даже устроили спор с ребятами из Поддержки, предложив им свою помощь по автоматизации. Суть спора заключалась в том, что если ребята смогут сделать технологию, которая возьмёт на себя часть работы Агента, Поддержка даём им ставку, и они на эту ставку нанимают разработчика, а если не смогут, то они отдают ставку Команде Поддержки.

Проект был начат летом 2018 во время стажировки. Один стажёр попытался автоматизировать ответы на самые частые вопросы. Работает это следующим образом: пользователь пишет вопрос, оттуда берутся ключевые слова, и для них подсказывается статья. Было решено научится генерировать новые ключевые слова, которые Агенты могли каким-то образом пропустить. В целом достичь цели получилось, хотя выяснилось, что 95 % ключевых слов люди уже нашли. Придумывались даже экзотические варианты, которые были не слишком очевидны. Например, если пользователь получил бан и написал об этой проблеме нестандартно. Или вопросы по верификации — у этого слова существует миллион вариантов написания, и все они вбиты в ключевые слова к статьям в FAQ, чтобы выдаваться по запросу.

Вопросов в Поддержку очень много, и все они попадают в разные «бачки» определённой тематики, например, связанные с шантажом или поломкой. В зависимости от «бачка» у вопросов разный приоритет. Если что-то критичное, тот же шантаж, мы пытаемся решить такие проблемы в первую очередь. Есть и хитрые пользователи, пытающиеся абьюзить систему, в результате чего в Поддержку приходят вопросы: «У меня сломались истории, что делать? Шантаж, шантаж, шантаж». В итоге Агенты тратят время на некритичные проблемы вместо того, чтобы отдать предпочтение более важным. С помощью автоматических систем удаётся определить, что вопрос на самом деле не про шантаж.

Поддержка ВКонтакте отвечает на все вопросы, за исключением очевидного и бессодержательного троллинга. Есть пользователи, пишущие с жизненными проблемами, например «Меня бросила девушка, что делать?» или «Посоветуйте фильм». На такие вопросы Агенты тоже отвечают, но они не приоритетные. У Команды появилась идея научиться автоматически отличать вопросы, не связанные с тематикой социальной сети, и отвечать на них чуть медленнее. Подход был придуман следующий: раздобыты вопросы с сервиса Ответы Mail.ru, и с помощью этой базы система отличала вопросы пользователей, связанные с социальной сетью, от вопросов «обо всём».

Генерация ответов

На сегодняшний день система умеет отвечать на вопросы полностью автоматически, то есть не просто подбирается шаблон, а прямо по словам генерируется ответ, включая ссылки. Сначала это были экспериментальные попытки. Очевидно, что систему нужно обучать и пропускать ответы через руки Агентов, потому что доверием пользователей важно. Результаты генерации показывались Агентам, и те отмечали, насколько здорово у модели получилось составить ответ или определить приоритет вопроса, его тематику. Таким образом, накапливались данные для усовершенствования системы.

Год спустя определились три основных направления работы с большим массивом вопросов:

Теги — определённые тематики, по которым приходят вопросы. У Поддержки широкий спектр тематик от «жизненных» вопросов до вопросов на юридические тематики и важно, чтобы вопрос попадал Агенту, который в этом разбирается. Автоопределение тематики вопросов прокачивается до сих пор. Вторая история — про приоритет, про те самые «бачки» вопросов, их верное определение моделью. Систему можно улучшать до бесконечности.

Что получено в первом приближении?

Интерфейс ML-ленты выглядит следующим образом:

В первом примере пользователь пишет по-русски, но на латинице, тем не менее модель всё равно определила категорию и предлагает ответ, составленный по слову — и это не какой-то подготовленный заранее шаблон, — в котором уточняет ссылку на сообщество. Есть Агенты, работающие с лентой, они являются её модераторами и обучают модель. Внизу каждого вопроса расположены кнопки. При нажатии на кнопку «Использовать ответ» Агент ничего не дописывает, не изменяет, этот ответ сразу идёт пользователю. Также вопрос можно передать специалисту, если он специфический, можно отклонить, если система предложила что-то бессвязное, можно сказать, что ответ не совсем верный и можно дать понять, что в каких-то типах вопросов без человека не обойтись, например, в темах о блокировке. Конкретно этой моделью ВКонтакте занимается примерно с мая.

Чем больше модель используется, тем точнее она отвечает. В планах на будущее — автоматическая немедленная отправка моделью ответов на вопросы определённых тематик.

Предварительно с помощью модели уже сгенерированы ответы на 153 с лишним тысячи вопросов и отправлены пользователям 34 тысячи автоматических ответов.

Для ответов, сгенерированных моделью, были отрисованы специальные аватарки:

Задачи полностью заменить Агентов на автоматическую систему не стоит, к тому же это невозможно и бессмысленно. На сложные вопросы по-прежнему будут отвечать люди — в итоге получаем и быстрые ответы, и сохраняются человеческие ресурсы, которыми Поддержка ВКонтакте всегда славилась. То есть происходит движение к некой гибридной системе из людей и роботов.

Сейчас важно понять, на какие именно вопросы будут даваться полностью автоматические ответы. Однако пока система не может работать без приглядывания Агентов, чтобы пользователь не получил странные бессвязные ответы и остался недоволен.

Создатели системы

ВКонтакте — не очень большая компания, но над некоторыми проектами работают целые команды. В частности, над автоматическими ответами и автоматизацией Поддержки работает целый ряд людей.

Михаил Румянцев отвечает за данный проект со стороны Поддержки, ребята из Команды back-office — Алексей Панькив, Михаил Кошкин — встраивают эту модель и позволяют делать интерфейс, представленный выше, все вызовы модели тоже их. Мадина, Даня и Валентин — Команда прикладных исследований, те, кто организуют и встраивают саму модель, обучая её.

Спор между Командой Поддержки и разработчиками пока не завершён, но пока последние проигрывают Агентам!

The Brown Room — независимое интернет-издание про социальные сети и современные технологии.

Автор: Лена NL
Изображения: VK Testers