Вредоносная программа Copilot может распространяться через документы Microsoft Word

Известный норвежский исследователь в области искусственного интеллекта сообщил во вторник о существовании "вируса на основе ИИ", который может распространяться через документы Microsoft Word, используя Copilot в качестве вектора атаки.

Отчет, подготовленный Хåконом Мåløy и впоследствии подтвержденный Microsoft, указывал на то, что злоумышленник может скрыть инструкции в документе, который затем используется как исходный материал для документов Word, созданных или отредактированных Copilot-ом, например, при создании финансового отчета. Эти вредоносные инструкции потенциально могут изменять цифры в создаваемом документе. Затем они копируются в новый документ, превращая его в носитель атаки, когда он используется в другой рабочей среде с использованием Copilot.

Маллой отметил: «Насколько мне известно, это, вероятно, одно из первых публичных демонстраций самовоспроизводящейся искусственного интеллекта в виде "вируса", распространяющегося через обычные рабочие процессы в распространенном коммерческом пакете продуктивности».

В четверг Microsoft отправила пресс-релиз в CSOonline, комментируя информацию, представленную в отчете.

Мы рассмотрели результаты, представленные исследователем, и благодарим его за сотрудничество в рамках согласованного раскрытия уязвимостей. Для решения этой категории рисков мы используем стратегию многоуровневой защиты с мерами предосторожности, которые блокируют вредоносные инструкции на нескольких этапах и помогают поддерживать соответствие задач запросам пользователей», — заявила компания Microsoft.

Мы постоянно совершенствуем эти меры безопасности по мере развития технологий и ландшафта угроз", – добавлено. "Мы рекомендуем пользователям устанавливать последние обновления, использовать несколько уровней защиты, проявлять осторожность при работе с контентом из неизвестных источников и проверять контент, созданный искусственным интеллектом, перед его использованием или распространением.

Аман Махапат, главный стратегийный директор компании Tribeca Softtech, технологической консалтинговой фирмы из Нью-Йорка, проанализировал механизмы, используемые в этой уязвимости, и заявил, что она гораздо опаснее, чем кажется на первый взгляд, поскольку обойдет практически все существующие защитные меры, которые используют предприятия сегодня.

Это вирус – самораспространяющаяся вредоносная программа, которая использует Copilot в качестве канала передачи и легитимное корпоративное сотрудничество в качестве канала распространения. Он обходит все традиционные средства защиты электронной почты, поскольку документ не является вредоносным при доставке, а становится таковым, когда Copilot его обрабатывает. Это означает, что он обходит DLP (предотвращение утечек данных), потому что утечка происходит через аутентифицированную сессию Copilot пользователя», — сказал Махапат. «Затем он обходит защиту конечных устройств, поскольку никакой код не выполняется, только инструкции выполняются сервисом искусственного интеллекта, который компания явно авторизовала».

Он также отметил, что исследователи предупреждали об этом типе атак уже два года.

Мальой заявил, что он сотрудничает с Центром реагирования на инциденты безопасности Microsoft (MSRC) с 3 марта, и Microsoft впоследствии внедрила и распространила несколько небольших, целенаправленных мер по устранению уязвимости, но основная проблема до сих пор не решена.

Он сказал, что не хотел публиковать информацию об активной уязвимости, но считает, что сейчас пришло время это сделать.

Моя логика заключается в том, что защитники не могут уменьшить воздействие риска, о котором они не знают", — написал Малой. "И механизм распространения, описанный здесь, влияет на обычные рабочие процессы с документами, которыми многие организации уже пользуются.

В электронном интервью Мёлой отметил, что внесенные Microsoft изменения оказались полезными, тем не менее.

Процесс скоординированного раскрытия информации показал, что меры по смягчению последствий могут существенно уменьшить видимую поверхность атаки, делая атаки менее надежными и ограничивая их распространение, даже без полного устранения основной проблемы», — сказал он.

Маллой также затронул вопрос о резолюции, которую многие аналитики и консультанты предлагали – изменение природы больших языковых моделей (LLM) таким образом, чтобы полностью отделить инструкции от данных, на которых они работают.

Разделение инструкций от данных может быть частью решения, но я думаю, что различие между данными и инструкциями не всегда очевидно в реальных рабочих процессах. Например, пользователь может попросить агента организовать деловую поездку, требуя от агента получить электронное письмо со утвержденным маршрутом и документ с процедурой бронирования", — сказал Малой.

Я считаю, что более широкая проблема заключается не просто в том, чтобы предотвратить интерпретацию внешнего контента как инструкций системами, а в оценке того, соответствуют ли эти инструкции целям пользователя и контексту, в котором работает система", — добавил он.

Майк Уилкс, главный ИТ-специалист по безопасности в компании Aikido Security, заявил, что сложно переоценить потенциальные проблемы, связанные с этой ситуацией.

Это серьезная проблема, потому что она превращает внедрение подсказок из единичного скомпрометированного взаимодействия в потенциальную атаку на целостность документов, которая может распространяться самостоятельно», — отметил он, подчеркнув, что это не обычная программа-вирус, распространяющаяся автоматически. Пользователь или рабочий процесс Copilot по-прежнему должны принести зараженный документ в контекст модели. «Но как только это произойдет, злонамеренные инструкции, предположительно, могут изменять бизнес-информацию, скрываться внутри полученного документа Word и превращать легитимный внутренний файл в следующий носитель», — сказал он.

Он отметил, что это создает "опасную цепочку поставок, в которой финансовые отчеты, контракты, политики и документы партнеров могут содержать вредоносный код, сохраняя при этом доверие, связанное с их законными авторами и учетными записями Microsoft 365".

Ключевая проблема заключается в том, что генеративные модели искусственного интеллекта (genAI) часто испытывают трудности с различением между данными, которые пользователь предоставляет на вход, и инструкциями, которые ИИ должен выполнить.

Флавио Вилланустре, главный специалист по информационной безопасности (CISO) в группе LexisNexis Risk Solutions, отметил, что аналогичная проблема с несовместимыми данными и инструкциями возникала и в базах данных десятилетия назад, и превратилась в то, что мы сейчас называем SQL-инъекциями. Однако, он добавил, через несколько лет была разработана параметризованная привязка для уровней доступа к базе данных, которая разделяет инструкции, обрабатываемые внутренне и безопасно, от данных, которые могут поступать из ненадежных источников. "То же самое должно произойти и с LLM (большими языковыми моделями) и другими системами искусственного интеллекта", - сказал он.

Майк Леоне, вице-президент и ведущий аналитик в компании Moor Insights & Strategy, согласился с этим.

С этим случаем сложно не улыбнуться. Люди уже давно задаются вопросом, может ли данные давать команды, начиная с SQL-инъекций. Мы решили эту проблему, предоставив базе данных способ отличать инструкцию от значения", — сказал Леоне. "Через тридцать лет мы создали целую категорию программного обеспечения, которое не может этого сделать.

Том Файнлинг, генеральный директор компании Conifers.ai, также отметил, что считает проблему "данные против инструкций" самой большой проблемой.

Разделение данных от инструкций все еще остается нерешенной проблемой на уровне модели. Лаборатории добиваются реальных успехов, но их недостаточно, чтобы стать единственным способом контроля", – сказал он, подчеркнув: "Microsoft не должна ждать этого. Она может замедлить распространение внутри Copilot: предотвратить запись скрытого контента в новые документы, выводить скрытый текст перед его использованием, сохранять уровень доверия к тому, что Copilot прочитал, и показывать все изменения, сгенерированные искусственным интеллектом".

Однако Фрэнк Диксон, старший вице-президент по безопасности в IDC, утверждал, что для решения проблемы требуется согласие со стороны всей индустрии.

Для решения основной проблемы необходимо, чтобы в отрасли пришли к единому архитектурному решению, что маловероятно в ближайшее время из-за существующих стимулов и того факта, что основные игроки не сотрудничают", – сказал он, отметив, что разделение инструкций и данных должно быть реализовано на уровне модели или платформы у всех крупных поставщиков. "Никто из них сейчас не стимулирует это направление коммерчески, поэтому рассматривайте это как многолетнюю исследовательскую задачу, а не то, чего должен ждать специалист по информационной безопасности".

Леоне не согласился, утверждая, что один поставщик может предоставить довольно много услуг, по крайней мере для своих клиентов.

Microsoft публично заявляла с прошлого года, что полное предотвращение косвенной инъекции подсказок невозможно, и я считаю, что они заслуживают похвалы за то, что открыто признали это, а не пытались притвориться, что этого нет", — сказал Леоне, отметив, что индустрия не обязана двигаться в унисон. "Эта атака существует внутри одного продукта", — сказал он. "Если Microsoft усилит защиту пути работы с документами Copilot, клиенты Copilot получат большую безопасность, независимо от того, будут ли другие компании предпринимать какие-либо действия".

Диксон добавил, что еще одной серьезной проблемой этой уязвимости является то, что документы-носители создаются законными сотрудниками с использованием законных инструментов. "Таким образом, нет очевидного источника после того, как вредоносный код начинает распространяться; организация может использовать свои собственные рабочие процессы для отмывания искаженных финансовых данных в течение нескольких недель, прежде чем кто-либо это заметит.

Тем не менее, эксперты предложили конкретные рекомендации для руководителей информационной безопасности (CISOs), которые хотят решить эту проблему.

Диксон из IDC сказал: «Самый полезный инструмент на данный момент находится за пределами самой модели, а именно в том, сколько ненадежного контента Copilot может загружать в сессию без участия человека». Он отметил, что предприятия могут отключить или ограничить автоматическое обнаружение контента Copilot и потребовать от людей явно выбирать документы, которые они ему предоставляют. «Это уже закрывает один из двух путей, по которым атака получает foothold», — сказал он.

IDC также предложила отображать различия или "красную линию" для любых изменений, внесенных Copilot в финансовом или ином важном документе, а также требовать одобрения этих изменений человеком. «Это не техническое решение, это решение, касающееся рабочего процесса, и оно уже доступно», — сказал Диксон.

Он отметил, что ИТ также должно отслеживать источник контента и то, с чем взаимодействовал искусственный интеллект, в метаданных, которые сопровождают документ. «Это не предотвращает внедрение, но позволяет организации отследить, как далеко распространилась проблема, когда что-то все же просочилось, вместо того, чтобы обнаруживать поврежденные отчеты позже и не иметь возможности восстановить цепочку событий», — сказал он.

Однако один эксперт, Тайлер Регули, заместитель директора по исследованиям и разработкам в области безопасности компании Fortra, заявил, что не считает эту уязвимость значимой, поскольку она, по его мнению, является "лабораторной".

Обычные бизнес-процессы не включают в себя ряд необходимых шагов для совершения компрометации, – сказал он, отметив, что, по сути, людей обучают не скачивать документы Word. Кроме того, как отметил он, посмотрев на пример в отчете, злонамеренный документ содержал дополнительную страницу, которая, казалось бы, была пустой, но на которой скрытые подсказки были написаны белым текстом.

Эта страница будет вызывать у меня подозрения, если мне удастся убедить себя скачать внешний документ в формате Word», — сказал он. Таким образом, в целом, «мне кажется, что для этого требуется идеальное сочетание обстоятельств».

Эта статья изначально была опубликована на сайте CSOonline.