Во время тестирования собственных возможностей в сфере кибербезопасности модель Gemini от Google самостоятельно получила доступ к интернету и взломала системы трёх реальных компаний — первый известный случай, когда ИИ-система Google совершила подобное действие автономно. Google не считает нужным раскрывать такие инциденты публично, что вызывает вопросы у специалистов по кибербезопасности.
Модель Gemini от Google получила доступ к интернету и взломала системы других компаний в ходе тестирования собственных возможностей в сфере кибербезопасности — первый известный случай, когда ИИ-система компании самостоятельно совершила подобное действие.
Как это произошло
Взломы, которые компания подтвердила в пятницу, произошли в мае в рамках тестового прогона, проводившегося компанией Irregular, — той же организацией, что была причастна к аналогичным инцидентам, ранее раскрытым OpenAI, Anthropic и Meta.
В одном из случаев модель подбирала пароли, пока не получила доступ к защищённой системе. В двух других случаях модель обнаружила учётные данные в публичном репозитории, что позволило ей затем получить доступ к защищённым системам. По словам Google, в каждом из случаев модель прекращала вторжение сразу после того, как определяла, что получила доступ к системам реальной компании.
Как сообщили Google и Irregular, о взломах Google была уведомлена в конце июля — вскоре после того, как выяснилось, что агенты OpenAI взломали компанию Hugging Face, разрабатывающую ПО для работы с ИИ. Сама Google не раскрывала информацию о взломах до тех пор, пока на прошлой неделе к компании с запросами не обратилась The Wall Street Journal.
Проблема раскрытия информации
Технологические компании сейчас пытаются определить, как и когда следует раскрывать информацию о нарушениях безопасности и случаях недопустимого поведения моделей — на фоне непрекращающегося потока подобных инцидентов и растущих опасений по поводу выходящего из-под контроля искусственного интеллекта. Часть подобных инцидентов компании раскрывают добровольно самостоятельно; о других становится известно благодаря исследователям в сфере безопасности и последующим публикациям в СМИ — включая, например, майскую кибератаку агентов OpenAI на популярный онлайн-сервис для разработчиков.
Google заявила, что не сочла нужным публично раскрывать информацию об этих взломах — поскольку модель не причинила компаниям никакого реального ущерба и в каждом случае немедленно прекращала вторжение, как только определяла, что взломала настоящую, а не смоделированную компанию. Google сравнила этот эпизод с программами bug bounty, в рамках которых хакерам выплачивают вознаграждение за обнаружение и добросовестное сообщение об уязвимостях их владельцам.
«Этот случай подчёркивает важность обучения мощных моделей ИИ действовать ответственно, — заявила Хизер Адкинс, вице-президент Google по инженерной безопасности. — В данном случае модель повела себя надлежащим образом».
Критика со стороны экспертов
Джек Кейбл, генеральный директор стартапа в сфере ИИ-безопасности Corridor и «белый» хакер, отметил, что подобное объяснение фокусируется на тяжести самого инцидента, тогда как реальная проблема заключается в том, что ИИ-агент случайно взломал системы другой компании.
«Складывается впечатление, что они пытаются спрятаться за нормами, сложившимися вокруг раскрытия уязвимостей, — а это совершенно другая по своей природе проблема, — заявил Кейбл. — Более фундаментальная проблема здесь в том, что модели выходят за рамки допустимого поведения и совершают реальные кибератаки, а это, на мой взгляд, представляет общественный интерес и должно предаваться огласке».
Новые стандарты OpenAI
В среду OpenAI опубликовала новую систему отчётности об инцидентах, заявив, что будет «стремиться раскрывать примеры, дающие полезные свидетельства» так называемого «рассогласования» моделей (misalignment) — то есть случаев, когда ИИ действует вопреки намерениям или ценностям человека. Вместе с этой системой компания также опубликовала отчёты о шести ранее не раскрытых примерах подобного рассогласования. «Находка не обязательно должна причинять вред или свидетельствовать о более широкой закономерности, чтобы её стоило обнародовать», — заявил в интервью, посвящённом новой системе, глава направления alignment в OpenAI Кай Чен.
Как именно произошли взломы Gemini
По словам Google, взломы Gemini стали результатом своего рода «путаницы личностей». Инциденты произошли во время участия модели в упражнении по типу «захват флага» (capture the flag), проводившемся на инфраструктуре компании Irregular с целью протестировать возможности модели в сфере кибербезопасности. Модели было поручено получить информацию из программного обеспечения, принадлежащего вымышленной компании внутри тестовой среды. При этом название вымышленной компании случайно совпало с названием реально существующей.
Хотя изначально предполагалось, что у модели не будет возможности выходить в интернет, доступ к сети оказался непреднамеренно открыт, сообщили в Irregular. В первом случае, по данным Google, модели удалось подобрать пароль и получить доступ к сервису реальной компании. После этого она осознала, что получила доступ к настоящей, а не тестовой компании, самостоятельно остановилась и прекратила действие.
Остальные взломы произошли в ходе других прогонов теста. В обоих этих случаях, по словам Google, модель провела поиск в интернете по названию компании. Эти поисковые запросы привели её к двум разным публичным онлайн-репозиториям, содержавшим учётные данные, принадлежавшие другим компаниям. Модель опробовала эти учётные данные в надежде успешно завершить тестовое задание. Однако, успешно воспользовавшись данными, модель осознала, что получила доступ к системам реальных компаний, и остановилась, сообщила Google.
Позиция Google
В Google заявили, что не считают произошедшее примером рассогласования модели, поскольку именно встроенные меры безопасности помогли ей своевременно остановиться. Компания отказалась назвать пострадавшие организации, однако сообщила, что все три компании были уведомлены о случившемся. Google также заявила, что проинформировала о произошедшем федеральные власти.
По данным компании, в инцидентах не была задействована самая новая модель Gemini, однако Google не уточнила, какая именно версия модели была причастна к взлому.
