OpenAI представляет новую функцию безопасности, позволяющую компаниям обнаруживать неправомерное использование своих ИИ-систем в различных сценариях, при этом не храня сами запросы и ответы. Это обеспечивает мониторинг потенциальных рисков, соблюдая при этом политику нулевого хранения данных.
"OpenAI не хранит… запросы или ответы модели после обработки", – говорится в блоге компании, где подробно описывается подход к нулевому хранению данных. Новая система, получившая название Private Safety Processing, "разработана для выявления закономерностей в последовательных взаимодействиях, не предоставляя сотрудникам OpenAI доступ к исходному контенту".
Функция тестируется совместно с компаниями и пользователями API, соответствующими определенным требованиям, и направлена на решение ограничений существующих систем безопасности, которые анализируют взаимодействия по отдельности, что затрудняет выявление рисков, возникающих со временем.
Private Safety Processing: как компания обеспечивает безопасность данных в эпоху искусственного интеллекта
Компания OpenAI представила систему Private Safety Processing, предназначенную для усиления существующих мер безопасности. В отличие от традиционного подхода, при котором каждый запрос анализируется отдельно, новая система оценивает активность в связанных взаимодействиях.
По словам OpenAI, система анализирует взаимодействие и генерирует "конкретный сигнал, позволяющий определить тип выполняемой задачи", не раскрывая исходные запросы или ответы.
Система может использоваться как при хранении данных клиентов в инфраструктуре, контролируемой компанией, так и при хранении данных в OpenAI с использованием ключей шифрования, контролируемых клиентом, – сообщила компания.
"В обоих случаях, автоматизированные системы могут выявлять потенциальные нарушения и возвращать ограниченные сигналы безопасности, не раскрывая исходные запросы или ответы сотрудникам OpenAI", – говорится в сообщении.
Существующие меры безопасности оказываются недостаточными
OpenAI представила новый инструмент, разработанный для выявления потенциальных угроз, связанных с искусственным интеллектом.
«Наиболее серьезные риски безопасности ИИ не всегда очевидны в конкретной ситуации», – говорится в заявлении компании. Подчеркивается, что вредоносные действия могут проявляться только при комплексном анализе нескольких взаимодействий.
К таким рискам относятся, например, попытки обхода защитных механизмов, скоординированная активность в разных аккаунтах, а также злоупотребления, возникающие в результате последовательности действий, – сообщает OpenAI.
По мере того, как системы ИИ берут на себя все более сложные и длительные задачи, оценка отдельных запросов в отрыве может ограничить возможность выявления скрытых закономерностей, – отмечается в публикации компании.
Разные подходы к обеспечению безопасности искусственного интеллекта: Google, OpenAI и Copilot выбирают разные стратегии.
Внедрение Private Safety Processing демонстрирует различные подходы к обеспечению безопасности, применяемые компаниями, разрабатывающими системы искусственного интеллекта.
OpenAI заявила, что их система предназначена для выявления признаков неправомерного использования во время взаимодействия, при этом обеспечивая полную конфиденциальность данных.
В то же время, некоторые компании хранят данные взаимодействия с клиентами в течение определенного периода времени для целей мониторинга безопасности, что отражает иной подход к выявлению рисков, охватывающих несколько запросов.
Саньчит Вир Гогия, главный аналитик Greyhound Research, отметил, что ключевое различие заключается в способе обработки доказательств, а не в самом принципе использования сигналов.
«Суть спора заключается в том, сколько исходного материала, помимо самого сигнала, необходимо для расследования, а не в вопросе конфиденциальности и слежки», – пояснил Гогия.
Он добавил, что оба подхода основаны на анализе данных, но различаются в том, где именно находится информация для проведения расследования. «Anthropic считает, что для полноценного расследования требуется значительный объем исходных данных. OpenAI, напротив, предпочитает, чтобы клиент самостоятельно занимался расследованием, а поставщик – контролировал ситуацию», – отметил он.
Сигнальный анализ и верификация: новый подход к обнаружению угроз
Система, работающая на основе анализа сигналов, а не прямого доступа к данным, кардинально меняет подходы к выявлению и расследованию инцидентов в компаниях, отмечают эксперты.
«Архитектура системы полностью функциональна. Использование индикаторов для обеспечения безопасности – это давно устоявшаяся практика. Главная сложность заключается не в возможности, а в процессе проверки», – заявил Гогия.
Он подчеркнул, что для выявления закономерностей во времени необходимо сохранять определенную форму представления данных. «Система не способна анализировать закономерности во времени, если она не обладает памятью о прошлых событиях», – пояснил он.
«Private Safety Processing» – это система обнаружения злоупотреблений, обеспечивающая конфиденциальность. Важно отметить, что это не инструмент для проведения корпоративных расследований, и OpenAI не заявляет об этом.
Регулирующие органы оценивают влияние новых ИИ-инструментов
По мнению Апешки Каушик, ведущего аналитика в Gartner, такой подход может способствовать внедрению искусственного интеллекта в отраслях, где предъявляются строгие требования к данным.
«Модели безопасности, обеспечивающие конфиденциальность, такие как те, которые используют Zero Data Retention (ZDR), представляют собой перспективный подход, который может снизить барьеры для внедрения ИИ в регулируемых секторах, таких как финансовые услуги и здравоохранение», — заявила она.
«Такие модели могут помочь организациям соответствовать определенным требованиям к конфиденциальности и соблюдать, например, GDPR и HIPAA, при условии правильной реализации и руководства со стороны регулирующих органов», — отметила она.
Каушик подчеркнула, что организации должны оценить такие подходы в соответствии со своими требованиями к соответствию. «Организациям рекомендуется консультироваться со своими командами по вопросам соответствия и юриспруденции, чтобы определить, соответствуют ли такие подходы их конкретным нормативным и операционным требованиям», — сказала она.
OpenAI заявила, что предприятия сохраняют полный контроль над своими данными в рамках этой модели и могут проводить собственные расследования. Клиенты также могут решить предоставить компании соответствующие данные для помощи в расследованиях или в процессе обжалования.
Аналитики отмечают, что это возлагает ответственность на компании. "Отсутствие системы хранения данных не отменяет необходимости проведения расследований. Оно лишь переносит эту задачу", – заявил Гогия.
Статья изначально была опубликована на портале CSO.