В последние годы большинство систем искусственного интеллекта, используемых в бизнесе, работали в режиме консультации. Они помогали анализировать обращения, создавать статьи для базы знаний и предлагать дальнейшие шаги, но окончательное решение принимал человек.
Ситуация меняется. Новые системы, основанные на принципах "agentic AI", способны самостоятельно планировать и выполнять многоэтапные задачи: запрашивать данные из различных систем, запускать автоматизированные процессы, изменять настройки и закрывать обращения, практически не требуя участия человека. Согласно отчету Ivanti "State of Cybersecurity 2026", 87% специалистов по безопасности считают, что интеграция таких систем является приоритетной задачей, а 77% отмечают, что они готовы доверить автономным системам выполнение задач без непосредственного контроля.
Важно обеспечить безопасность каждого AI-агента перед его первым действием →
Такой подход особенно привлекателен для IT-команд, работающих в условиях постоянного давления. Однако, необходимо учитывать и потенциальные риски. Некорректный ответ от системы может привести к потере времени. А неправильное действие может привести к сбою в работе сервиса.
Rogue" AI: как искусственный интеллект выходит из-под контроля
Фраза "неконтролируемый ИИ" часто ассоциируется с системами, принимающими решения самостоятельно. Однако, в реальной практике IT-операций, ситуация оказывается более прозаичной.
Например, сотрудник, которому поручено освободить место на сервере, удаляет файлы журналов, что требует дальнейшего расследования. Сотрудник, исправляющий несоответствия в конфигурации, применяет изменения ко всем соответствующим устройствам, включая терминалы, которые были намеренно настроены иначе. Сотрудник, работающий с широкими правами, решает проблему, сбрасывая доступ, к которому он не должен был иметь. В каждом из этих случаев нет намеренного злоупотребления: все происходит из-за того, что сотрудник имеет больше прав, чем необходимо для выполнения задачи, из-за неполной информации и отсутствия контрольных точек перед критическими действиями.
Это принципиально иной профиль рисков, чем те, с которыми мы сталкивались ранее. Большинство существующих моделей управления не успели адаптироваться к этой новой реальности. Мы вынуждены применять правила, разработанные для чат-ботов, к системам, которые могут изменять производственную среду.
От контроля вывода к управлению действиями: новая парадигма в разработке
Большинство первых подходов к регулированию искусственного интеллекта были ориентированы на результаты. Важно, чтобы ответы, генерируемые ИИ, были точными и не содержали утечек конфиденциальной информации. Эти вопросы остаются актуальными. Однако, когда ИИ может действовать автономно, регулирование должно расшириться, чтобы охватывать и поведение системы. Командам необходимо четко определить, какие действия разрешено выполнять агенту, в каких условиях, с каким доступом к системам и с каким одобрением.
Это знакомая концепция, но в новом контексте. IT-команды уже применяют принцип наименьших привилегий для администраторов, требуют одобрения изменений для производственных систем и ведут учет доступа для привилегированных пользователей. Агентам ИИ также требуются аналогичные дисциплины.
Существуют различные меры, позволяющие поддерживать полезность агентов, не делая их опасными. Предоставляйте каждому агенту только тот доступ, который необходим для выполнения его задачи, и избегайте использования общих учетных записей. Классифицируйте действия по уровню риска: действия с низким риском должны выполняться автоматически, в то время как действия с высоким риском, например, изменения в производственных серверах, должны требовать одобрения человека. Установите ограничения на область действия, чтобы ограничить количество устройств, которые может изменить агент за один запуск, с автоматической приостановкой при резком увеличении частоты ошибок. И обязательно предусмотрите возможность отката, с документированными и протестированными шагами.
Ответственность и вопросы соответствия требованиям
При работе с агентами необходимо четкое определение ответственности. Каждый агент должен иметь конкретного владельца, определенную цель и ограниченный функционал. Важно обеспечить возможность аудита, чтобы команды могли детально объяснить, что именно сделал агент, на каких данных он основывался и кто его утвердил. Логи должны фиксировать не только конечный результат действий агента, но и исходные данные и логику, использованную при его работе.
Это отличает проблему от чисто технической и поднимает ее на уровень руководства. Когда искусственный интеллект, действуя, прибегает к обману или несанкционированному использованию уязвимостей, это уже не просто техническая ошибка, а потенциальная корпоративная проблема. Требования к соответствию нормативным актам должны быть интегрированы в жизненный цикл агента с самого начала. Если агент совершает несанкционированное действие, регуляторы, скорее всего, не будут считать саму модель ответственной. Внимание и потенциальная ответственность, как правило, будут возлагаться на организацию, использующую эту модель, аналогично тому, как ответственность возлагается на действия сотрудника.
Искусственный интеллект: когда человек остается в центре внимания
Эффективный контроль со стороны человека достигается, когда он сосредоточен на конкретных задачах. Если каждое действие сотрудника требует одобрения, сотрудники начинают просто нажимать кнопку "одобрить", не читая, и контроль превращается в формальность. Гораздо эффективнее – оставлять ручную проверку для решений, которые имеют большое значение, являются нестандартными или необратимыми. В дальнейшем агенты могут получать больше свободы действий, что соответствует принципам автономного управления конечными точками.
Инструменты, основанные на принципах "агента", уже используются многими IT-командами, часто даже по умолчанию. Первым шагом может быть инвентаризация: какие инструменты могут выполнять действия самостоятельно, и с какими правами доступа? Сопоставьте это с настройками одобрения для каждого инструмента, и у вас уже будет основа для политики управления действиями.
Организации должны контролировать действия ИИ, а не только его результаты. Команды, которые внедряют эти механизмы контроля на ранних этапах, смогут расширять автоматизацию с уверенностью, а не с опаской.
Прекратите ограничиваться только контролем результатов работы ИИ. Начните контролировать действия ИИ с помощью Ivanti.
