Грег Брокман, глава OpenAI, в воскресенье обратился к руководителям информационной безопасности крупных компаний с призывом к более активному использованию агентов для защиты от будущих кибератак.
В своем блоге Брокман отметил, что становится всё более очевидным, что системы компаний содержат значительные уязвимости, и защитникам необходимо их обнаружить и устранить до того, как это сделают злоумышленники.
Он добавил: «Инцидент с Hugging Face показал, что мы недооценили реальные возможности кибербезопасности наших ИИ-моделей».
Подробности о текущих мерах защиты, которые использует OpenAI, в основном соответствуют общепринятым практикам, знакомым крупным компаниям.
«Мы продолжаем инвестировать в безопасную архитектуру и контроль, внедряем стратегии, такие как многоуровневая защита и принцип наименьших привилегий, и разрабатываем системы, требующие одновременного отказа нескольких независимых контролей, чтобы предотвратить катастрофические последствия», — сказал Брокман. «Традиционные средства защиты, такие как сетевая изоляция, усиление вычислительных ресурсов, мониторинг и безопасное обновление и развертывание, станут ещё более важными в будущем, связанном с ИИ».
Для борьбы с новыми угрозами, Брокман также посоветовал руководителям информационной безопасности крупных компаний увеличить использование агентов, и, как ни странно, рекомендовал использовать продукты OpenAI.
Предоставьте вашей команде безопасности специализированного помощника», — отметил он. «Начните использовать Codex, плагин Codex Security, или другой подходящий инструмент для автоматизации разработки и обеспечения безопасности. Предоставьте ему доступ к кодовым базам, конфигурациям инфраструктуры и технической документации, которые необходимы вашей команде для оценки рисков. Не ждите масштабного внедрения во всей компании, чтобы начать работать с самыми важными системами».
Далее он добавил: «Обеспечьте этого помощника необходимыми знаниями в области безопасности. Начните с тех навыков, которые поддерживаются сообществом, включая процессы статического анализа, ревью кода с акцентом на безопасность, анализ уязвимостей, управление рисками в цепочке поставок программного обеспечения и другие процессы обеспечения безопасности. Затем разработайте собственные навыки, основанные на архитектуре вашей организации, стандартах безопасности, моделях угроз и тактических планах».
Советы точные, но с явной выгодой для компании-разработчика.
Эксперты и консультанты отметили, что советы Брокмана оказались точными, однако, они также казались довольно очевидными и, в определенной степени, предвзятыми.
Аналитик компании Gartner, Надер Хенеин, прямо заявил: «В целом, я обычно не рекомендую следовать советам от компании, которая активно продает решение проблемы, в которой сама сыграла роль. При этом, в статье практически не обсуждается вопрос ответственности».
Питер Арнц, эксперт по кибербезопасности в компании Malwarebytes, отметил: «Особое внимание привлекает настойчивость OpenAI в продвижении своих продуктов. Компания очень четко и убедительно демонстрирует свои преимущества».
Предоставьте вашей команде безопасности доступ к этому инструменту, чтобы они могли получать доступ к коду, конфигурациям инфраструктуры и технической документации. Начните с систем, требующих немедленного внимания, а не ждите, пока решение будет внедрено во всей компании», – отметил Арнц, комментируя публикацию Брокмана. «Предлагаемый подход – от сканирования только для чтения к обработке оповещений и автоматическому устранению ложных срабатываний – представляется разумным, однако OpenAI, похоже, стремится к предоставлению корпоративным пользователям возможности полноценного доступа к этим инструментам».
Флавио Вилланустре, ведущий специалист по информационной безопасности в компании LexisNexis Risk Solutions, также высказал опасения.
Несмотря на то, что я в целом согласен с рекомендациями Брокмана, важно отметить, что возникшая проблема, по сути, является следствием действий самой компании OpenAI. Кажется, основная идея заключается в том, чтобы пользователи начали платить OpenAI больше, используя искусственный интеллект для повышения безопасности. Я понимаю, что ситуация изменилась, и вернуть все к прежнему положению невозможно. Тем не менее, я считаю, что OpenAI должна придерживаться ответственного подхода и активно участвовать в решении проблемы, повышая стандарты безопасности и финансируя инициативы, направленные на общее повышение безопасности программного обеспечения. Возможно, стоит выделить финансирование ключевых проектов с открытым исходным кодом, которые сейчас испытывают огромную нагрузку из-за увеличения объемов AI-генерируемых результатов и исправлений.
«Ответственность всегда должна начинаться с себя», — подчеркнул Майк Уилкс, главный ИТ-специалист по безопасности в Aikido Security. «И, на мой взгляд, этого явно не хватает в данной статье».
Майк Уилкс отметил, что гораздо важнее того, чего Брокман не упомянул, например, о способах ограничения потенциального ущерба, когда агенты начинают работать не по назначению.
Каждая критически важная операция, выполняемая автоматизированными системами, должна иметь четко определенные границы, систему аудита и надежный, практически мгновенный механизм отката, а не просто полагаться на оценку безопасности модели», – заявил Уилкс. «Рекомендация Брокмана о постепенном расширении автономии соответствует этому подходу, но я бы настаивал на обязательной реализации механизма отката при разработке», – добавил он.
Он подчеркнул: «Брокман верно указывает на необходимость «ограниченных автоматизированных ответов» и сохранения ответственности за ключевые решения за людей, однако компании, внедряющие системы защиты, также должны иметь чрезвычайно быстрые и надежные механизмы для отмены любых изменений, вносимых этими системами».
При реагировании на инциденты необходимо действовать, опираясь на неполную информацию, – отметил Уилкс. Часто, на ранних этапах, возникают ошибочные сигналы, что заставляет команды принимать неверные решения, пока новые данные не подтвердят или опровергнут их первоначальные предположения о том, кто совершил атаку, что было скомпрометировано и куда направляются дальнейшие действия.
Проблема, затрагивающая всю отрасль
Эксперты и консультанты пришли к выводу, что эти проблемы характерны для всей отрасли разработки искусственного интеллекта. В последнее время многие компании, занимающиеся созданием ИИ, уделяют больше внимания не только разработке, но и прибыльности, а также укреплению своих позиций на рынке.
«Статья Брокмана – неплохой обзор, но в ней нет ничего принципиально нового или важного», – заявил Марк Таушек, ведущий аналитик Info-Tech Research Group. «Основные исследовательские центры в области искусственного интеллекта все больше ориентируются на коммерческие возможности и кибербезопасность, а не на соблюдение принципов безопасности и этики, которые были заложены на ранних этапах. Интерес к разработке безопасных и этичных систем для широкого круга пользователей снизился, поскольку основное внимание и инвестиции направлены в другие области».
Ноа Кенни, ведущий консультант Digital 520, также согласился, отметив, что у OpenAI есть веские причины для такого подхода, особенно в связи с подготовкой к первичному размещению акций (IPO).
Для меня это прежде всего история об успешном выходе компании на биржу. Раздел, посвященный защите данных, выглядит особенно привлекательно в документах для первичного размещения акций, поскольку он демонстрирует защиту доходов, подтверждает зрелость операционной деятельности и укрепляет доверие инвесторов», — отметил Кенни. «В то же время, раздел о команде, отвечающей за управление рисками, представляет собой противоположную позицию. Его основная задача – предупредить о потенциальных опасностях, связанных с данной моделью, и, как следствие, вызвать задержки и юридические риски при попытке выхода компании на биржу, что, в свою очередь, не приносит никаких доходов».
Кэти Нортон, исследовательница в области облачной безопасности в IDC, подчеркнула, что ключевым моментом в этом сообщении является акцент на немедленных действиях.
«Особое внимание привлекает срочность, с которой Брокман предоставил информацию и признание OpenAI о том, что они недооценили реальные риски кибербезопасности своих моделей после инцидента с Hugging Face», — заявила Нортон. «По сути, он призывает организации адаптироваться в течение нескольких месяцев, а не лет».
