Нейросеть ВК поможет пабликам бороться с угрозами в комментариях

Администраторам стал доступен специальный фильтр для борьбы с враждебными высказываниями — в его основе лежит нейросеть. Фильтр можно включить и отключить в настройках сообщества в любое время, при этом по умолчанию он отключён. Функция уже появилась у владельцев 50% пабликов, а скоро станет доступна всем.

Сейчас алгоритмы умеют определять прямые угрозы — пожелания смерти, обещания причинить вред здоровью и угрозы расправы. Разработчики ВКонтакте продолжат тестирование фильтра: в будущем он может научиться распознавать и другие признаки нетерпимости — например, травлю по национальной или религиозной принадлежности. Руководителям сообществ доступны отфильтрованные публикации с возможностью их восстановить, однако тестовый запуск показал, что отсеянные комментарии возвращают лишь в 1% случаев.

Команда ВКонтакте:

«ВКонтакте миллионы сообществ по интересам — от групп фанатов сериалов до клубов любителей вышивания крестиком, от страниц международных брендов до пабликов с абстрактными мемами. В каждом из них разная атмосфера и свои принципы общения в рамках общих правил VK. Мы хотим дать администраторам возможность сделать среду в их сообществах более доброжелательной: подписчики смогут вести конструктивный диалог и не бояться получить жестокий комментарий в ответ. Наша модерация за считаные минуты реагирует на обращения пользователей, а с помощью фильтра враждебных высказываний это время будет сведено до минимума — прямые угрозы удалятся мгновенно».

Тестирование фильтра было запущено в ноябре 2020 года. За этот период функцией уже воспользовались руководители свыше 10% всех сообществ ВКонтакте — это 13 млн публичных страниц, групп и мероприятий. Администраторы сообществ оценили работу нейросети — среди подключивших фильтр комментариев от него впоследствии отказались лишь 1,8%. При этом многие писали в Поддержку с просьбой активировать функцию.

Для создания алгоритмов, которые хорошо понимают разговорную речь, использовалось большое количество текстов на русском языке — например, субтитры из фильмов, сериалов и видео. Нейросеть содержит в себе специальный механизм внимания, позволяющий принимать решения на основе важности слов и их комбинаций. Разработчики изучают логику принятия решений — это позволяет исправлять ошибки, учитывать контекст и эффективнее обучать алгоритмы. Сейчас нейросеть правильно определяет угрозы в 80% случаев, и команда продолжает работать над её улучшением.

ВКонтакте предлагает и другие функции для защиты от травли. Любой пользователь может отправить жалобу службе модерации, если публикация содержит оскорбление, угрозы или враждебные высказывания, — кнопка «Пожаловаться» есть у записей, комментариев, фото и видео, историй, клипов. Ранее платформа представила функцию «Близкие друзья»: пользователи могут создать список людей, которым особенно доверяют, и делиться сокровенным на стене профиля только с ними. Подробнее о том, как ВКонтакте предотвращает распространение языка вражды, можно узнать в разделе «Нормы платформы».