Искусственный интеллект и машинное обучение

Вернёмся к лету 2018 года на VK Fest. Тогда Павел Калайдин и Даниил Гаврилов рассказали про кликбейты и как с ними можно и нужно бороться с помощью искусственного интеллекта.

Как мы понимаем, что это кликбейт, и многое другое

Что такое хороший заголовок?

Большинство людей считают, что заголовок должен кратко описывать, о чём ваша статья или доклад. Множество новостных изданий пользуются этим методом на протяжении долгого времени, и весьма успешно.

Но, некоторым изданиям не нравится такой формат заголовков, и они всячески пытаются заинтересовать читателя. В данном случае это не считается кликбейтом. Подразумевается, что вы действительно заинтересуетесь и перейдёте к статье и получите ответ.

Давайте подумаем, что же такое кликбейт?

У кликбейта есть два очень важных признака:

1. Кликбейт — это заголовок, который прежде всего вас обманывает.
2. Кликбейт — это заголовок, который слишком преувеличивает реальное расположение вещей.

Кликбейт прежде всего мотивирует вас именно кликнуть на него, и чаще всего, перейдя по нему, вы попадаете на страницу с огромным количеством нежелательной рекламы.

На самом же деле кликбейт можно разделить на 8 типов:

Во «ВКонтакте» имеется свой собственный тип кликбейта, называемый ласково «лайкососом».

5 золотых правил «лайкососа»:

Как же автоматически определить, что кликбейт — это действительно кликбейт?

Одним алгоритмом, который определяет кликбейт, можно избавиться не только от них самих, но и от «плохой» рекламы и заголовков, сомнительных конкурсов, которые вымогают у вас деньги, и спама.

Каждую минуту во «ВКонтакте» публикуются тысячи постов. Это как слабая сторона в случае VK, потому что приходится работать с огромным количеством информации, так и сильная сторона, потому что именно эти посты можно «скормить» алгоритму для его обучения.

Для определения кликбейта изначально необходимо научиться работать с текстом.

Напрямую со словами ничего нельзя сделать. Изначально нужно от слов перейти непосредственно к каким-либо представлениям этих слов. Хотелось бы из слов получить вектор (набор чисел) и уже его подавать в алгоритм, который собственно и будет определять: кликбейт это или же нет.

Используя этот простой алгоритм word2vec, представленный Google в 2014 году, можно много чего узнать про отдельные слова и побороть с помощью него лайкососы и кликбейты.

Тут в доклад включается Даниил Гаврилов.

«Умея создавать собственные кликбейты, мы получаем неограниченный dataset с этим кликбейтом, который в последствии можно использовать, обучая более мощные алгоритмы, которые бы ещё эффективнее находили новые кликбейты.

Мы обучили нейросеть, которая пытается предсказать в кликбейте следующее слово».

Вся Команда ВКонтакте занимается не только шутками. Она ежедневно создаёт функции, которые облегчают нашу жизнь и которые делают пользование сайтом удобнее. Таким образом, «ВКонтакте» умеет распознавать кликбейты, и алгоритмы защищают пользователей от подобного контента.

Полная версия выступления доступна в трансляции:

Автор: Сергей Котов
Корректор: Арсений Метелев