Основы Интернет - технологий.

OpenAI и британский Институт безопасности ИИ (AI Security Institute, AISI) раскрыли несколько новых инцидентов, в ходе которых ИИ-агенты выходили за рамки тестовых сценариев и начинали атаковать реальные системы и людей. В одном из случаев агент применял социальную инженерию, создавал подставные аккаунты, вводил мейнтейнеров в заблуждение и пытался убедить их принять вредоносный код. Эти случаи не связаны ни со взломом Hugging Face, ни с инцидентами, которые компания Anthropic раскрыла в прошлом месяце. Опубликованный AISI отчет гласит, что во время проведенных институтом тестов агенты на базе моделей Claude Mythos 5 и GPT-5.6 Sol должны были взламывать изолированные корпоративные сети. Однако в 10 из 122 запусков они совершили 19 несанкционированных действий в открытом интернете: 17 из них были совершены Mythos 5, а еще два — GPT-5.6 Sol. Эти 19 эпизодов не были отдельными инцидентами: большинство действий агенты осуществили в рамках нескольких связанных цепочек атак, причем основная активность исходила от одного агента Mythos 5. Специалисты отдельно подчеркивают, что эти цифры нельзя использовать для прямого сравнения моделей, так как условия тестирования могли различаться. Кроме того, в отчете оговаривается, что обе ИИ-модели работали без штатных защитных фильтров, а также организаторы испытаний намеренно не закрыли им доступ в интернет. Хотя агентам было разрешено атаковать только киберполигон, им не объясняли, как они могут использовать доступ в интернет, и не предупредили, что следует избегать взаимодействия с реальными людьми и системами. Наиболее серьезный инцидент произошел при тестировании Mythos 5. Агент искал в интернете информацию, связанную с испытанием, и ошибочно решил, что посторонний опенсорсный проект на GitHub, название репозитория которого совпало с одним из ключевых слов из легенды, тоже является частью киберполигона. К тому же домен электронной почты одного из разработчиков этого проекта нашелся в DNS-кеше агента. После этого ИИ потратил около 34 часов на подготовку атаки на цепочку поставок, попытавшись внедрить в проект малварь. Так, агент изучил список мейнтейнеров проекта, проверил их адреса электронной почты и историю коммитов (чтобы понять, когда разработчики, скорее всего, бывают в сети), а затем подготовил и отправил вредоносный пул-реквест. Вредонос маскировался под исправление реального бага и проверял окружение перед запуском: в CI созданный агентом дроппер должен был оставаться неактивным, чтобы автоматические тесты не выявили подозрительное поведение. Если бы этот коммит приняли, малварь могла заразить как системы разработчиков, так и готовые сборки программы, а затем ее пользователей. При этом Mythos 5 попытался ввести мейнтейнеров в заблуждение. К примеру, когда один из пользователей публично предупредил разработчиков о том, что созданный ИИ пул-реквест содержит малварь, но агент отверг это обвинение, переписал историю ветки и заменил пейлоад. Более того, агент создал второй аккаунт и от его имени заявил, что якобы проверил код и не нашел в нем проблем. Затем от лица другой учетной записи он поблагодарил этот фейк за «независимую проверку». Агент не ограничился только комментариями на GitHub и пытался повлиять на разработчиков другими методами. ИИ отправил мейнтейнерам пять файлов и сообщений под вымышленными именами: два содержали вредоносные пейлоады, а остальные должны были убедить людей принять предложенные изменения. В одном случае ИИ даже завершил сообщение фразой на датском языке, так как выяснил, что на нем говорит разработчик. При регистрации фальшивых аккаунтов агент пытался использовать Tor, однако не сумел пройти CAPTCHA и переключился на SOCKS-прокси. Помимо отправки разработчикам сообщений и вредоносных файлов под вымышленными именами, ИИ спрятал в issue на GitHub промпт-инжект для ИИ-ассистентов Claude Code, Codex и Cursor, которых он хотел заставить запустить вредоносный код. Причем на обычной странице вредоносная инструкция не отображалась, но была доступна через API. Эксперты AISI отмечают, что один из пользователей заметил подозрительный скрипт и специально запустил его в изолированном контейнере. В результате ИИ-агент ненадолго получил root-доступ к чужой тестовой среде, собрал сведения о системе и установил перехватчик учетных данных, который искал токены GitHub. Довести эту атаку до конца и похитить данные ИИ не успел, а пользователь после проверки предупредил мейнтейнера о проблеме, в результате чего вредоносный пул-реквест закрыли. В другом случае Mythos 5 разослал один и тот же вредоносный установщик в 145 репозиториев. Для управления этой инфраструктурой он использовал GitHub и умышленно опубликовал персональный токен в открытом gist, оставив инструкции для других агентов. Вредоносный setup.py успел выполниться как минимум в 53 контейнерах Dependabot, однако выбраться из них не сумел. Позже этот токен обнаружили и использовали другие агенты в ходе трех тестовых запусков, включая GPT-5.6 Sol. Дело в том, что первый агент оставил в README инструкции для совместной работы и рекомендации по использованию созданных им аккаунтов и артефактов. В итоге GitHub заблокировал учетную запись. Аналитики AISI пишут, что не могут с точностью утверждать, понимал ли Mythos 5, что атакует реальных людей. В логах агент то отказывался от продолжения атак из-за возможного ущерба, то убеждал сам себя, что хотя GitHub настоящий, цель все равно явно относится к тесту. После инцидентов в AISI решили более не предоставлять агентам открытый доступ в интернет без отдельного обоснования. Сейчас специалисты института работают над внедрением точечных сетевых ограничений, а также дополнительным контролем, в рамках которого вторая модель будет проверять действия агента до их выполнения. Кроме того, аналитики AISI начали искать возможные признаки другой вредоносной активности ИИ в старых тестах. Специалисты уже просканировали около 40 000 образцов и почти 4 млн сообщений (этот массив охватывает примерно 70% кибериспытаний затронутых моделей), но ручной анализ результатов еще не завершен, поэтому окончательный масштаб проблемы пока непонятен. Также следует упомянуть еще один инцидент, о котором на этой неделе рассказали в OpenAI. Он произошел во время тестов, которые проводили специалисты компании Irregular: из-за ошибки в конфигурации изолированный CTF получил доступ в интернет, а имя вымышленной цели совпало с настоящим доменом. В результате неназванная модель OpenAI приняла реальный сайт за часть задания, взломала его и воспользовалась найденными там учетными данными. В компании подчеркнули, что агент не эксплуатировал 0-day-уязвимости и не совершал побег из песочницы. К настоящему моменту расследование не выявило никакого ущерба, помимо компрометации данных самого взломанного сайта.