Банк России выпустил первый системный документ по информационной безопасности при использовании ИИ в финансовой сфере
Главное из документа «Методические …
Просмотров: 15
Цель документа: обеспечение единства подходов кредитных и некредитных финансовых организаций, субъектов НПС к реализации принципа безопасности, надёжности и эффективности при разработке и применении ИИ (в соответствии с Кодексом этики в сфере ИИ на финансовом рынке).
Основные риски ИИ, связанные с ИБ и операционной надёжностью: Управление данными («отравленные», неактуальные или некорректные наборы данных). Нарушение конфиденциальности (утечка данных, нарушение авторских прав). Нарушение функционирования модели (галлюцинации, дрейф данных). Недостаточная объяснимость/предсказуемость (невозможность интерпретировать решения ИИ). Сбои в интеграции, неправомерные действия персонала, нарушение операционной деятельности.
Критические процессы: при высоких рисках для платежей, учётных систем и других критически важных процессов рекомендуется валидация результатов ИИ человеком с возможностью корректировки.
Модель угроз безопасности системы ИИ: рекомендуется разрабатывать с учётом этапов жизненного цикла ИИ (подготовка данных → разработка → обучение и тестирование → функционирование).
Специфические угрозы для технологий ИИ: – Нарушение функционирования («обход») средств ИИ. – Искажение («отравление») обучающих данных. – Раскрытие информации о модели ИИ, хищение обучающих данных. – Модификация модели (архитектуры, последовательности взаимодействий). – Приведение модели в состояние «отказ в обслуживании». – Манипуляция поведением модели, подмена модели ИИ.
Меры защиты (по этапам жизненного цикла): – Подготовка данных: контроль и очистка аномалий, шифрование, контроль целостности, обезличивание/маскировка. – Разработка модели: анализ уязвимостей, криптографическая целостность, отслеживание изменений в коде и документации. – Обучение и тестирование: состязательное обучение, защитная дистилляция, ансамблевые методы, федеративное обучение, «цифровые метки», тестирование на «отравление» и проникновение. – Функционирование: шифрование входных/выходных данных, контроль аномалий, регистрация событий, ограничение параметров запросов, мониторинг штатного функционирования.
Политика обеспечения ИБ при разработке и применении ИИ: рекомендуется разработать или дополнить внутреннюю политику, включающую целевые свойства ИБ (целостность, конфиденциальность, доступность, киберустойчивость, достаточная объяснимость/предсказуемость), минимальные права доступа, безопасную разработку, обучение персонала, полномочия и ответственность, комплаенс, а также порядок действий в нештатных ситуациях (включая аварийную остановку системы ИИ).
Open-source и сторонние сервисы: рекомендуется проводить оценку рисков, вести учёт моделей и компонентов с открытым кодом, оценивать доверие к поставщикам (участие в Bug Bounty, наличие модели угроз, регулярные аудиты, безопасный жизненный цикл разработки, лицензионная чистота). Передавать поставщикам для обучения только «очищенные» или синтетические/обезличенные данные.
Ответственный: заместитель руководителя по вопросам защиты информации (за разработку политики и контроль).
