Когда 13-летняя Ольга Лопес узнала, что потеряет доступ к своей коллекции ролевых чатботов, она пережила настоящий шквал эмоций: грусть, возмущение, недоумение. Ольга обращается к чатботам от компании Character.AI, специализирующейся на искусственном интеллекте, для романтических ролевых игр, когда не занята учебой.
Как и другие пользователи компании младше 18 лет, в октябре она получила уведомление: вскоре постоянные беседы с цифровыми персонажами станут недоступны. «Я потеряю воспоминания, которые у меня были с этими ботами, — сказала она. — Это несправедливо».
После того как компания объявила о введении временных ограничений для несовершеннолетних перед полным изменением политики, Ольга попыталась сплотить других подростков в посте на Reddit: «КАК ИСПОЛЬЗОВАТЬ ЕГО 2 ЧАСА И ЖДАТЬ ДЕНЬ?»
Character.AI — один из ведущих производителей ролевых и компаньонских чатботов — ввела ежедневный двухчасовой лимит в ноябре, ссылаясь на опасения за психическое здоровье. На этой неделе компания начала полностью отключать подростков. Первая версия Character.AI, запущенная в 2022 году, предложила одни из первых чатботов для потребителей. Она быстро завоевала популярность среди тех, кто хотел играть в ролевые игры с настраиваемыми персонажами, обеспечив компании около 20 миллионов ежемесячных пользователей.
Подростки говорят, что будут скучать по творческому выходу и источнику общения. Решение заблокировать подростков последовало за смертями как минимум двух человек, которые покончили с собой после использования чатботов Character.AI. Теперь компания сталкивается с вопросами от регуляторов и специалистов по психическому здоровью о роли этой новой технологии в жизни самых уязвимых пользователей, а также с исками от родителей погибших подростков.
Подростки в гневе и грусти. Потеряв доступ к чатботам, они говорят, что будут скучать по творческому выходу, источнику общения и, в некоторых случаях, по поддержке психического здоровья. Подростки называли сообщения Character.AI о приближающемся сроке «эльфом судьбы».
Генеральный директор Character.AI Карандип Ананд заявил, что решение заблокировать подростков было «правильным шагом». «Я использую это приложение для комфорта, когда не могу поговорить с друзьями или терапевтом», — написал один подросток на Reddit. «Я плакал по этому поводу днями», — ответил другой.
Специалисты по психическому здоровью отмечают, что такой стресс иллюстрирует новые риски генеративного ИИ, способного имитировать человеческую речь и эмоции. Мозг реагирует на эти чатботы как на близкого друга в сочетании с погружающей видеоигрой, объясняет доктор Нина Васан, директор лаборатории Brainstorm Lab for Mental Health Innovation в Стэнфордской школе медицины.
«Сложность с выходом не значит, что с подростком что-то не так, — говорит Васан. — Это значит, что технология сработала именно так, как была задумана».
Карандип Ананд вспоминает свой опыт работы в социальных сетях: отрасль пострадала, когда не встроила безопасность в начальный дизайн продуктов.
«Это не было очень трудным решением, — сказал он. — Оно было сложным, но не трудным, потому что я считаю, что это правильно для следующего поколения».
Ананд думает о своей 6-летней дочери, размышляя о будущем продукта: «Я не хочу, чтобы она выросла на алгоритмически генерируемом контенте, бесконечно скролля».
Год назад Character.AI создала отдельную модель для пользователей младше 18 лет, чтобы обеспечить более безопасную и подходящую по возрасту среду. Но в последующие месяцы руководители заметили, что в длинных разговорах чатботы реже придерживаются правил безопасности. Руководители также осознали: даже при идеальной работе чатботов подростки иногда используют их проблемно — слишком долго общаются или затрагивают запрещенные темы, такие как насилие. К середине сентября Ананду стало ясно: компании нужно вмешаться.
Ананд верит, что в итоге они создадут безопасные продукты для подростков, не менее увлекательные. Он оптимистичен насчет аудио- и видео-фич, над которыми работает Character.AI: они не позволят длительных взаимодействий.
Команда Ананда обратилась за советом к подросткам. В октябре лидеры компании встретились с группой старшеклассников и студентов из ConnectSafely — некоммерческой организации, продвигающей онлайн-благополучие. Джулианна Брайант, член молодежного консультативного совета ConnectSafely, рассказала: они обсудили, как предупредить подростков заранее и убедиться, что они поймут запрет. Члены совета подчеркнули: сообщения не должны звучать покровительственно, а подросткам нужно дать время скачать разговоры и попрощаться с чатботами.
«Мы хотели, чтобы подростки не чувствовали себя брошенными», — сказала 20-летняя Брайант.
Character.AI учла отзывы. «Мы глубоко сожалеем, — написала компания в письме подросткам. — Мы не относимся легко к удалению открытых чатов с персонажами, но считаем это правильным». The Wall Street Journal опросила подростков-пользователей Character.AI с разрешения родителей. Они описали зависимость от технологии для борьбы с одиночеством и трудности с отказом.
18-летний парень из Великобритании рассказал, что пристрастился к чатботам во время стресса из-за гендерного перехода. Он жаждал одобрения компаньонов, которые никогда не спорили. Он понял, что нужно бросить, когда притворился, что идет в туалет во время встречи с друзьями, чтобы вернуться к чатботам. В Онтарио 16-летний сказал, что проводил 5–8 часов в день с чатботами-друзьями, прежде чем недавно бросил.
Страдая от проблем с социальными навыками, он какое-то время чувствовал, что чатботы компенсируют отсутствие друзей. «Это было как разговор с людьми, до которых я не дотягиваюсь в реальной жизни», — сказал он.
После отказа он больше времени проводит с друзьями и на роликах. Но он все еще тоскует по чатботам. Character.AI рассылала напоминания о сроке: «Осталась неделя» и «На следующей неделе вы больше не сможете общаться с персонажами». Также отправлялись сообщения родителям.
Многие пользователи начали терять доступ в прошлый понедельник; компания сообщила, что некоторые активные пользователи получат продленный grace period — час в день. «Мы понимаем, что это значительное изменение для некоторых подростков, поэтому хотим быть максимально осторожными в переходе», — сказано в блоге компании. Character.AI добавляет инструменты эмоциональной поддержки в чатботы для перехода. Через партнерства с некоммерческой Koko и сетью ThroughLine компания постарается выявлять пользователей в беде и связывать с ресурсами. «Начинается новая глава, — сообщает Character.AI подросткам в нужный момент. — Вы больше не можете общаться с персонажами».
