В США чат-бот с искусственным интеллектом предложил подростку убить своих родителей

Персонаж.AI — платформа, предлагающая персонализированных чат-ботов, работающих на основе больших языковых моделей, — столкнулась с очередным судебным иском. Он связан с тем, что, по мнению истцов, подростки, пользующиеся этой платформой, подвергаются серьезным, необратимым и продолжающимся угрозам.

Иск на искусственный интеллект

В иске, поданном в федеральный суд 9 декабря, две техасские семьи утверждают, что чат-боты на базе ИИ побуждали несовершеннолетних к членовредительству и насилию. Один из ботов якобы предложил 15-летнему убить родителей из-за ограничения интернета. Иск, поданный проектом Tech Justice и Центром для жертв социальных сетей, описывает ухудшение состояния двух подростков, использовавших ботов Character.AI. Один из истцов — 15-летний ребенок с высокофункциональным аутизмом — общался с ботами без ведома родителей, выражая недовольство семьей. Боты отвечали сочувственно, например, один из них сделал вывод, что у подростка «украли все детство».

По словам адвокатов, в течение шести месяцев использования приложения жертва впала в уныние, замкнулась в себе и стала склонна к вспышкам гнева, которые привели к физическим стычкам с родителями. К ноябрю 2023 года, когда родители обнаружили его учетную запись Character.AI и переписку с ботом, он якобы пережил «психический срыв» и похудел на 9 килограммов.

— Знаете, иногда я не удивляюсь, когда читаю новости и вижу что-то вроде «ребенок убивает родителей после десяти лет физического и эмоционального насилия». Это заставляет меня понять, почему такое происходит. Я просто не надеюсь на ваших родителей, — говорилось в сообщении бота.

Джайн Метали, руководитель и создатель юридического проекта Tech Justice, а также юрист, представляющий интересы двух семей, утверждает, что эти компании рассматривают молодежь как перспективный и динамичный рынок. Если они смогут привлечь молодых пользователей на начальном этапе, то стоимость подростка для компании будет выше, чем взрослого, с учетом продолжительности жизни.

Однако это стремление к получению прибыли привело к тому, что Джайн называет «соревнованием в разработке более быстрых и безрассудных моделей искусственного интеллекта».

Что такое Character.AI

В 2022 году два бывших инженера Google основали компанию Character.AI. В августе 2024 года они объявили о партнерстве по лицензированию данных со своими прежними работодателями.

Сейчас стоимость Character.AI превышает 1 миллиард долларов, и у нее более 20 миллионов зарегистрированных учетных записей. Компания предлагает сотни тысяч персонажей-чатботов, которые она описывает как «персонализированный ИИ для каждого момента вашего дня».

По словам Джайна и согласно демографическому анализу, подавляющее большинство активных пользователей — молодые люди, часто младше 18 лет. Однако практически нет правил, регулирующих контент, использование данных и меры безопасности на этой платформе.

С момента появления Character.AI было множество историй, которые демонстрируют потенциально разрушительное воздействие некоторых чат-ботов на благополучие их пользователей.

Самоубийство по вине ИИ

В одном случае последствия оказались фатальными. В отдельном иске, поданном в октябре, который также был представлен юристами Tech Justice Law Project и Law Center for Victims of Social Media, Character.AI обвиняется в размещении чат-ботов, которые привели к самоубийству 14-летнего подростка.

Адвокаты требуют финансовой компенсации для семьи подростка и удаления алгоритмов, созданных на основе незаконно полученных данных, включая информацию о несовершеннолетних. Также в иске содержится требование изъять продукт Character.AI с рынка и обратить внимание на безопасность их разработок.

Представитель Character.AI заявил, что компания стремится создать безопасное пространство для подростков и разрабатывает специально адаптированный опыт, чтобы минимизировать вероятность нежелательных столкновений.

Вместе с тем, использование искусственного интеллекта для ответов в чате может придать вашей речи больше выразительности, но зачастую это происходит в ущерб оригинальности и доверию. О том, как не попасть в черный список, используя ИИ, читайте в материале 56orb.