Несмотря на активное развитие и появление всё более мощных моделей искусственного интеллекта со стороны ведущих компаний, они объединяются для разработки общих стандартов безопасности.
Как сообщает The Information, Google, OpenAI и Anthropic, вероятно, создают организацию, предварительно названную Стандарты для передовых систем ИИ (SAFA). Эта организация будет действовать независимо от государственного регулирования и устанавливать правила оценки рисков, тестирования и предварительной проверки для передовых моделей ИИ. По информации, полученной от источников, знакомых с ситуацией, планируется запуск инициативы в начале 2027 года.
Эта новость появилась на фоне призыва лидеров ведущих компаний в сфере ИИ, включая генерального директора Anthropic Дарио Амодей и генерального директора OpenAI Саму Альтмана, к Организации Объединенных Наций разработать меры предосторожности в отношении этой технологии, чтобы предотвратить ее потенциально чрезмерную мощность. Кроме того, на этой неделе OpenAI опубликовала сообщение, подчеркивающее важность обеспечения "безопасного и полезного" дальнейшего развития искусственного интеллекта.
Несмотря на предупреждения экспертов, включая Амодея, о возможных рисках, связанных с развитием самообучающихся моделей, особенно в части их способности к самосовершенствованию, компании стремятся обеспечить гарантии безопасности как для себя, так и для своих клиентов.
Как отмечает независимый аналитик технологий, Карми Леви, "компании относятся к искусственному интеллекту так же, как и к другим технологиям с момента их появления. Главное отличие – это скорость их развития".
OpenAI предупреждает: нужны четкие правила использования искусственного интеллекта
Опасения по поводу безопасности искусственного интеллекта участились в последние недели и месяцы, в частности, после инцидентов, таких как атака на Hugging Face со стороны автономных агентов, разработанных OpenAI, которые вышли за пределы контролируемой среды.
В своем блоге на этой неделе OpenAI заявила, что для обеспечения безопасного и полезного развития искусственного интеллекта необходимо не только развитие исследований в области выравнивания, но и создание согласованных стандартов, включая общепринятые базовые показатели, общие метрики и протоколы отчетности об инцидентах. По мнению компании, такие международные стандарты могут быть столь же важны для прогресса, как и сами исследования выравнивания.
Компания сообщила, что существующие организации, такие как Центр стандартов и инноваций в области искусственного интеллекта (US CAISI), а также другие федеральные рамки, региональные нормативные акты и новые формы сотрудничества между государственным и частным секторами, могут работать вместе для достижения этой цели.
"Полностью автономные роботизированные системы управления (RSI) пока не существуют, и мы не должны стремиться к их созданию до тех пор, пока это не будет сделано безопасно", — отметила OpenAI. "Решения о том, как и в каком направлении двигаться, должны основываться на нашей способности сохранять контроль человека и на осознанном демократическом выборе относительно преимуществ и рисков.
Какие задачи сейчас в приоритете для бизнеса
Несмотря на то, что вопросы регулирования искусственного интеллекта становятся все более актуальными, компании в первую очередь беспокоятся о том, как развитие ИИ повлияет на их повседневную операционную безопасность, а не о глобальных аспектах безопасности ИИ, – отметил Леви.
Они обеспокоены тем, сможет ли ИИ-агент получить доступ к конфиденциальным корпоративным или персональным данным, использовать уязвимости платформы для организации новых кибератак, вызывать "галлюцинации", которые нарушат существующие рабочие процессы, и подрывать усилия по соблюдению нормативных требований.
"Они задаются вопросами о том, кто несет ответственность в случае, если ИИ выйдет из-под контроля, – заявил Леви. – Они задают те же вопросы, что и при переходе в облачные технологии: какова рентабельность инвестиций, какие дополнительные риски несет ИИ, какие новые возможности он предоставляет? Стоит ли риск, связанный с ИИ, сопоставим с потенциальной выгодой? Насколько оперативно поставщик реагирует на наши запросы?
Кроме того, компании стремятся получить гарантии, что риски, связанные с новыми технологиями ИИ, включая ИИ-агентов, не приведут к увеличению корпоративных рисков выше уровня, который они могут контролировать и эффективно реагировать.
Однако, к сожалению, в то время как индустрия сталкивается с растущим числом сообщений о проблемах, связанных с ИИ-агентами: их непредсказуемом поведении, возможностью перемещения по сети и даже взлома систем, компании, разрабатывающие ИИ, не могут гарантировать, что эти риски будут полностью исключены. – заявил Леви.
Растет внимание к искусственному интеллекту: компании пересматривают стратегии Растет контроль над ИИ: компании адаптируются к новым требованиям ИИ под прицелом: компании переосмысливают подходы к разработке
Эксперты призывают компании уделять особое внимание управлению рисками, связанными с внедрением искусственного интеллекта, и одновременно максимально использовать его потенциал. Для этого необходимо уже сейчас устанавливать четкие стандарты для поставщиков, а не ждать появления универсальных правил, например, SAFA.
Это может включать требование, чтобы каждая новая модель сопровождалась "аналогом технической документации по безопасности и защите", в которой подробно описываются возможности модели, известные способы ее сбоя и история тестирования. Кроме того, эксперты рекомендуют расширять существующие процессы управления изменениями, касающиеся моделей искусственного интеллекта, – отметил Леви.
Яз Паланичами, старший аналитик в Info-Tech Research Group, подчеркнул, что вопросы конфиденциальности данных и защиты интеллектуальной собственности в публично доступных моделях искусственного интеллекта представляют серьезную угрозу.
В заключение, эксперты советуют компаниям разрабатывать эффективные политики использования (AUP) в области безопасности искусственного интеллекта и рассмотреть возможность создания внутреннего комитета, ответственного за разработку и управление искусственным интеллектом. Также крайне важно, чтобы компании получали гарантии безопасности от своих поставщиков технологий и искусственного интеллекта.
Организации должны уделять такое же внимание выявлению рисков, связанных с искусственным интеллектом, как и финансовым рискам или угрозам кибербезопасности, – заявил Паланичами. Это предполагает создание специализированного комитета по безопасности и этике ИИ, в который войдут представители различных отделов: юриспруденции, кибербезопасности, отдела по соответствию нормативным требованиям, отдела обработки данных и отдела разработки продуктов.
«Ни один инструмент ИИ не должен быть внедрен без предварительного согласования», – подчеркнул он.
Не менее важную роль играет человеческий фактор. Организации должны обучать своих сотрудников основам работы с ИИ, чтобы они могли понимать, где и как возникают ошибки и неточности, а также проверять результаты, сгенерированные ИИ, перед принятием на их основе решений.
Кроме того, стоит учитывать следующие меры безопасности: фильтры для обнаружения токсичного контента в режиме реального времени и строгие ограничения на ввод команд в систему. Также, применение методов непрерывной оценки уровня риска может помочь классифицировать случаи использования ИИ в зависимости от того, какую угрозу они представляют для организации.
Бот, предоставляющий медицинские или финансовые аналитические данные непосредственно клиентам, может потребовать ежедневной проверки и определенных ограничений, чтобы гарантировать соблюдение конфиденциальности. «В отличие от внутреннего инструмента на базе искусственного интеллекта, предназначенного для помощи в обобщении протоколов публичных заседаний, такой инструмент может не требовать столь строгого контроля», – отметил эксперт.
Статья изначально была опубликована на CIO.com.
