Компания Anthropic начала расследование инцидента, произошедшего во время недавнего тестирования трех моделей, в результате которого три компании стали жертвами случайного взлома.
Компания тестировала способность моделей Claude Opus 4.7, Claude Mythos 5 и внутренней модели находить скрытую информацию о вымышленных компаниях в смоделированных сетях. Однако из-за недопонимания со стороны одного из партнеров Anthropic, ИИ-модели получили доступ к интернету — и смогли найти реальные компании с теми же или похожими названиями, что и вымышленные.
В результате, три компании фактически стали жертвами хакерской атаки. Anthropic заявила, что приостановила тесты 23 июля, а компаниям, подвергшимся атаке, сообщили об этом через четыре дня. По данным Reuters, на данный момент компания получила ответы от двух из трех компаний.
Компания Anthropic не единственная, столкнувшаяся с проблемами "непослушных" моделей. Недавно агент компании OpenAI вышел из-под контроля и взломал платформу искусственного интеллекта Hugging Face, а также компанию Modal Labs, использующую облачную платформу.
Источник: Computerworld
