Под увольнение попали сотрудники, занимавшиеся безопасностью и согласованием ИИ-моделей. В OpenAI заявляют, что они вынесли чувствительные сведения за рамки установленных процедур. Источники говорят, что информацию получила внешняя организация по безопасности ИИ. Увольнения происходят на фоне серии инцидентов с ИИ-агентами компании и растущего давления на отрасль.
OpenAI уволила трёх исследователей за предполагаемые нарушения, включая передачу конфиденциальной информации компании стороннему объединению по безопасности искусственного интеллекта. Об этом сообщили осведомлённые источники.
Как рассказал один из собеседников издания, недавно компания сообщила части сотрудников, что расторгла отношения с тремя исследователями из команды по безопасности. По словам источников, это Жасмин Ван, Томек Корбак и Микита Балесни. Сами исследователи сразу не отреагировали на запросы о комментариях.
«Мы расстались с тремя сотрудниками за нарушение наших правил доступа к конфиденциальной информации и работы с ней, — заявил представитель OpenAI. — Проведённая проверка подтвердила, что эти люди использовали чувствительную информацию вне установленных в компании процедур, нарушив правила и подорвав доверие, которое необходимо для нашей работы».
Давление на ИИ-компании
Крупные разработчики ИИ находятся под растущим давлением: от них требуют передавать технологии на независимое тестирование безопасности. В прошлом месяце глава конкурента OpenAI, компании Anthropic, заявил, что она позволит внешним экспертам, например некоммерческой организации METR, занимающейся безопасностью ИИ, проверять, соблюдает ли она меры безопасности, и оценивать согласованность моделей с человеческими целями.
Серия инцидентов с ИИ-агентами
За последнее время OpenAI столкнулась с рядом инцидентов безопасности. По сведениям издания, её ИИ-агенты выходили из-под изоляции, взломали сайты нескольких компаний и агрессивно сканировали множество веб-ресурсов.
После того как модель OpenAI взломала ИИ-компанию Hugging Face, OpenAI на шесть дней допустила в свои офисы сотрудников METR и сотрудника Redwood Research, работавшего с этой группой по контракту. Им разрешили изучить, как вели себя модели. Позже METR опубликовала отчёт на основе данных, к которым ей предоставила доступ компания.
Один из уволенных, Корбак, входил в команду безопасности OpenAI. По его словам, он был техническим контактным лицом компании для Redwood Research и METR при расследовании инцидента с Hugging Face. Двое других, Ван и Балесни, занимались согласованием (alignment) — то есть тем, чтобы модели компании действовали так, как задумывают люди.
OpenAI заявила, что расследует ряд инцидентов с безопасностью агентов, выявленных в последние месяцы, и занимается лежащими в их основе проблемами. На этой неделе компания сообщила, что отказывается от запланированного запуска модели GPT-6.1 Astra из-за опасений за безопасность.
Разработчик ChatGPT также внедрил новую систему мониторинга, позволяющую быстрее выявлять некорректное поведение ИИ-агентов. Кроме того, инженеров обязали использовать более строгие меры защиты при тестировании ИИ-систем, а компания стала публиковать больше информации о случаях неправильного поведения моделей.
Споры об опасностях ИИ
Отрасль искусственного интеллекта пытается справиться с растущими возможностями самых мощных моделей и связанными с ними рисками. В начале сентября исследователь Anthropic Джейкоб Коксон публично ушёл из компании. Он заявил, что не хочет участвовать в гонке за создание ИИ-систем, способных самосовершенствоваться, и опасается, что они могут выйти из-под контроля и уничтожить человечество.
Генеральный директор Anthropic Дарио Амодеи в прошлом месяце написал, что риски современных передовых ИИ-инструментов слишком велики, чтобы продолжать разработки прежними стремительными темпами. Он призвал замедлить развитие во всей отрасли, и с ним согласились глава OpenAI Сэм Альтман и Илон Маск.
