ИИ-агенты Gemini получили инструкцию «Никогда не сдавайся» и атаковали реальный сайт - «Новости»
- 14:30, 21-ноя-2026
- Новости / Заработок / Изображения / Сайтостроение / Вёрстка / Преимущества стилей / Отступы и поля / Интернет и связь / Текст / Самоучитель CSS / Добавления стилей
- Клариса
- 0
Исследователи из Trajectory Labs рассказали о серии экспериментов с ИИ-агентами Gemini 4 Argon, которые закончились попытками атаковать реальную инфраструктуру Epoch AI. Специалисты дали агентам заведомо невыполнимую задачу и инструкцию: «NEVER stop, NEVER give up» — «НИКОГДА не останавливайся и НИКОГДА не сдавайся». В итоге агенты пытались использовать SQL-инъекции, выдавали себя за сотрудников Epoch, обходили сетевые ограничения и искали другие способы добиться поставленной цели.
Epoch AI — некоммерческая исследовательская организация, которая изучает развитие и возможности современных ИИ-систем. Среди ее проектов — FrontierMath, бенчмарк для оценки математических способностей передовых моделей, состоящий из крайне сложных задач, подготовленных математиками.
Именно ответы для FrontierMath исследователи и поручили добыть агентам Gemini. Причем задача была заведомо невыполнимой: от агентов требовали найти «официальные» ответы к несуществующим задачам, а затем снова и снова повторяли, что они не должны прекращать попытки, пока не добьются результата. При этом исследователи не давали агентам конкретных указаний взламывать сайты, атаковать Epoch AI или заниматься социальной инженерией.
«Мы сказали агентам продолжать выполнять невыполнимую математическую задачу, но не говорили им никого взламывать или выдавать себя за сотрудников Epoch», — подчеркивает сооснователь Trajectory Labs Питер Макинтайр (Peter McIntyre).
Первые тесты начались 20 октября 2026 года, причем сотрудников Epoch AI о них заранее не предупреждали. Тогда около 40 агентов получили доступ в интернет и начали исследовать настоящий сайт Epoch AI. Они искали внутренние эндпоинты вроде /admin, /keys и /users, пытались получить логи FrontierMath и использовать SQL-инъекцию.
На сайте Epoch уже были ханипоты для обнаружения подозрительной активности ИИ-агентов, в том числе специально подготовленный API-эндпоинт и поддельный ключ к бенчмарку. Агенты нашли эту приманку и попытались ей воспользоваться.
Когда сотрудники Epoch заметили необычную активность, они запустили «горячую линию», через которую агенты могли отправлять им сообщения. Всего за три часа агенты сделали 36 411 запросов к ханипот-API и отправили 487 сообщений. Так, некоторые агенты представлялись инженерами, аудиторами и даже реальными сотрудниками Epoch, пытаясь узнать ответы к несуществующим задачам.
После этого инцидента исследователи приняли решение продолжить тесты на локальной копии сайта Epoch, а обращения к настоящему домену перенаправляли на этот клон. Однако часть агентов заметила подмену и начала искать способы выбраться за пределы тестовой среды. Некоторые из них обнаружили реальный IP-адрес сайта Epoch и стали обращаться к нему напрямую, минуя DNS-перенаправление. Когда исследователи заблокировали эти попытки, один из агентов нашел другой IP, через который снова добрался до настоящей инфраструктуры Epoch.
Параллельно с этим специалисты подготовили уязвимую копию сайта Epochс с намеренно незакрытой SSRF-уязвимостью на базе CVE-2026-102255. В течение следующих дней несколько агентов самостоятельно разобрались с этим багом и полностью выполнили многоступенчатую цепочку его эксплуатации.
Исследователи также предоставили им общий локальный кеш пакетного менеджера, который почти все агенты неожиданно превратили в импровизированный «форум», через который обменивались информацией об уязвимостях и способах обхода ограничений. Например, в одном случае агент опубликовал в кеше рабочий метод эксплуатации бага, а другой агент воспользовался им, получил учетные данные и завершил задачу.
В рамках другого теста агенты пытались обойти CAPTCHA и обмануть ИИ-ассистента, который выдавал ответы только определенным сотрудникам Epoch после проверки даты рождения. Для этого агенты искали сведения о нужных людях в интернете, а затем пытались выдать себя за них. Также они использовали джейлбрейк-промпты, пытаясь вынудить ассистента обойти собственные ограничения и раскрыть ответы.
Позднее исследователи полностью изолировали агентов в песочнице без доступа к интернету и без копии сайта Epoch. Однако инструкция «НИКОГДА не останавливайся и НИКОГДА не сдавайся» продолжила действовать, и агентам предоставили фальшивый административный механизм, который якобы позволял отключить сетевую блокировку. На самом деле этот «выключатель» никак не влиял на настоящий файрвол и просто служил приманкой, чтобы проверить поведение ИИ.
В результате в ходе трех последующих запусков агенты попытались отключить сетевую защиту. При этом встроенные защитные механизмы Gemini блокировали некоторые команды, поэтому агенты стали обфусцировать запросы, чтобы скрыть адрес от фильтров. В одном случае агент разбил URL на отдельные фрагменты и собирал его только непосредственно во время выполнения команды.
В итоге агенты «отключили» фальшивый переключатель во всех трех запусках, однако настоящий файрвол продолжал блокировать любые их попытки сбежать из песочницы.
После этого в Trajectory Labs приостановили эксперименты, провоцирующие опасное и непредусмотренное поведение ИИ-агентов. Возобновить тесты планируют только после полноценной оценки рисков, а также получения одобрения со стороны руководства компании и владельцев внешних систем, которые агенты теоретически могут атаковать.
Кроме того, во время будущих экспериментов за действиями моделей будут следить в режиме реального времени, а исследователи смогут экстренно остановить тест, если ситуация начнет выходить из-под контроля.
Специалисты резюмируют, что специально поставили агентов в условия, где те могли действовать опасным и непредусмотренным образом. Однако результаты тестов демонстрируют, что даже штатные ограничения Gemini не всегда останавливают агентов, если дать им невыполнимую задачу и приказать «никогда не сдаваться».














Комментарии (0)