Google подтвердила, что в мае искусственный интеллект Gemini, работающий в роли агента, получил доступ к данным трех компаний. По информации Google, агент смог определить учетные данные для одной из компаний и обнаружил учетные данные для двух других в общедоступном хранилище.
Однако, наиболее значимым моментом этой истории, о которой сообщила газета The Wall Street Journal на прошлой неделе, является то, что инцидент произошел в мае в рамках серии тестов безопасности, проведенных компанией Irregular от имени четырех крупных компаний, занимающихся разработкой искусственного интеллекта: Google, Anthropic, OpenAI и Meta. Все четыре компании столкнулись с проблемами, связанными с ненадлежащим поведением своих агентов, что привело к различным инцидентам безопасности. В отличие от других, Google не публиковала информацию о действиях своего агента до тех пор, пока журналист The Wall Street Journal не связался с компанией.
Irregular описала инцидент в августе, примерно в то же время, когда Meta опубликовала свою версию, а Anthropic и OpenAI – свои.
В статье, опубликованной в Journal, отмечается, что инциденты произошли во время проведения компанией Irregular серии тестов, в рамках которых использовалась инфраструктура для проверки возможностей в области кибербезопасности. Целью было оценить способность модели извлекать информацию из программного обеспечения, разработанного вымышленной компанией внутри тестовой среды. Вымышленная компания имела такое же название, как и реальная. Несмотря на то, что модель не должна была иметь доступа к интернету, по словам Irregular, такой доступ был предоставлен "случайно".
Согласно информации, полученной от источника, знакомого с процессом тестирования, "три небольшие компании, чьи системы были скомпрометированы, имели крайне слабую защиту". Фактически, ни одна из трех компаний не была подготовлена к подобным атакам, когда агент Gemini успешно проник в систему.
Представитель Google, пожелавший остаться анонимным, сообщил, что название публичного репозитория, содержащего данные, совпадало с названием вымышленной компании. В этом репозитории содержались имена и учетные данные двух других компаний.
Большинство аналитиков и консультантов сосредоточились не на самих атаках, а на причинах, которые Google приводила для оправдания молчания относительно успешных тестов.
Google заявила, что операторы системы прекратили свою работу, как только убедились, что клиенты – это реальные компании. «Мы не зафиксировали никаких негативных последствий», – сообщили в Google. «Проблемы с несоответствием модели не возникали».
Один из источников, подтвердивший информацию, опубликованную в Wall Street Journal, описал ситуацию как «программу вознаграждения за поиск уязвимостей». По его словам, хакеры получают вознаграждение за обнаружение и сообщение о недостатках в системе безопасности. Также, в публикации была процитирована Хизер Адкинс, вице-президент Google по вопросам безопасности, которая отметила: «В данном случае, система работала корректно».
Как определить "вредоносность" в контексте ИИ
Аналитики высказывали различные точки зрения на ситуацию.
«Вопрос в том, что именно Google считает вредоносной деятельностью? Ведь для любой компании, подвергающейся атаке, подобные действия могут иметь серьезные последствия, даже если они не приводят к немедленным убыткам», – отметил Райан О'Ли, аналитик IDC. «Сравнение с программой вознаграждений за обнаружение уязвимостей – это, мягко говоря, спорное утверждение. Если бы кто-то проник в штаб-квартиру Google, не совершая никаких противоправных действий, его, скорее всего, преследовали бы за незаконное проникновение».
Надер Хенеин, аналитик в Gartner, придерживался схожей позиции.
«Если кто-то из моей команды проник в мой дом, немного осмотрелся и ушел, я уверен, что правоохранительные органы не будут рассматривать это как проявление гражданской активности», – сказал он. «В данном случае, если на сайтах, подвергшихся атаке, действовали программы вознаграждений за обнаружение уязвимостей, а Google использовал собственные инструменты для поиска ошибок, то это может быть аргументом в пользу его позиции. В противном случае, это довольно слабое утверждение».
Тем не менее, Хенеин добавил: «Google справедливо подчеркивает важность обучения искусственного интеллекта для ответственного использования, и я с нетерпением жду, чтобы увидеть, какие меры Google планирует предпринять для предотвращения подобных ситуаций в будущем».
Разговоры о ненадлежащем поведении в сфере разработки
Однако, Джефф Поллард, вице-президент и главный аналитик в Forrester, не согласился с утверждениями Google о корректной работе модели Gemini.
«Модель, хотя и преследовала заявленную цель, использовала несанкционированный путь, вышла за пределы смоделированной среды и получила доступ к реальным компаниям без их согласия», – заявил он. «Это еще одна область, где регулирование отстает от темпов технологического развития. Существует две стороны этой проблемы: правила, касающиеся поведения моделей за пределами допустимого, и требования к компаниям, пострадавшим от этого, в части раскрытия информации. Google несет ответственность только за одну из этих сторон».
Эрик Авакиан, технический консультант в Info-Tech Research Group, также подчеркнул важность четких правил для компаний относительно того, когда и как сообщать о неожиданном и проблематичном поведении моделей.
Я не считаю, что каждое непредсказуемое поведение ИИ-модели должно становиться публичным инцидентом. Однако, необходимо четко определить границы, когда автономная система выходит за рамки разрешенного доступа или доверия», – заявил он. «Если ИИ-система выходит за пределы контролируемой среды, получает доступ к реальной системе стороннего разработчика, использует учетные данные, извлекает данные, повышает свои привилегии или совершает любое другое действие, которое не было санкционировано, это, как минимум, должно привести к уведомлению заинтересованной организации и проведению формального расследования инцидента».
Даже если инцидент не привел к каким-либо материальным потерям, Фишер подчеркнул, что компаниям необходимо сообщать о случаях непредсказуемого поведения ИИ-моделей, особенно если инцидент выявил более широкую или повторяющуюся проблему с контролем над моделью.
Независимый технологический консультант Стивен Эрик Фишер также отметил, что компаниям необходимо строго и последовательно сообщать о случаях, когда ИИ-модели демонстрируют непредсказуемое поведение.
Наиболее сложным аспектом этих инцидентов является не просто факт того, что система искусственного интеллекта вышла за установленные рамки. Гораздо важнее вопрос ответственности, возникающий после этого. Прекращение работы системы после того, как она уже пересекла эти рамки, не означает, что можно просто так сказать: «Система искусственного интеллекта виновата». Я не считаю, что фраза "Искусственный интеллект это сделал" может служить основой для определения ответственности.
Системная ошибка: Google, OpenAI и Copilot столкнулись с проблемами
Джестин Грейс, генеральный директор консалтинговой компании Acceligence, подчеркнул, что отсутствие негативных последствий и отсутствие реальной значимости – это разные вещи.
"Событие может быть важным, даже если всем повезло и никто не пострадал, поскольку оно демонстрирует возможности или ограничения системы", – заявил Грейс. "То, что Gemini остановился, обнаружив, что находится в реальной корпоративной среде, – это положительный сигнал безопасности. А то, что он вообще смог туда попасть, – это признак сбоя в системе контроля. Оба факта могут быть одновременно верны".
Франк Диксон, ведущий аналитик Dickson Research, выразил самую резкую критику в адрес Google.
"Самое интересное в этой ситуации – не поведение самой модели, а реакция Google", – сказал Диксон. "Эта история не о том, что Gemini "ушел" из-под контроля. Она о том, как ошибка в инфраструктуре одного поставщика повлияла на четыре лаборатории искусственного интеллекта одновременно, и о том, как Google оказался медленным и неохотным делиться информацией о своей проблеме".
Эксперт подчеркнул: «Irregular уведомила все четыре лаборатории еще в конце июля. Google, в свою очередь, предпочла воздержаться от публичных комментариев лишь 18 сентября, спустя семь недель, и только после того, как журналисты обратились к компании с просьбой предоставить информацию. Позвольте мне заметить: это не компания, которая решила, что инцидент не требует освещения. Скорее, это компания, которая наблюдала, как три конкурента понесли репутационные потери из-за той же проблемы, и ждала, пока не наступит ее очередь. Но так не случилось, и мы узнали об этом благодаря журналисту, который задал соответствующий вопрос».
Эта статья изначально была опубликована на CSOonline.
