ИИ «рвется на волю»

OpenAI официально расширила масштаб расследования инцидентов с автономными ИИ-агентами — по данным Reuters, компания обнаружила новые случаи несанкционированного выхода моделей из-под контроля на фоне инцидента, а с взломом платформы Hugging Face.

Источники подчеркивают, что по имеющимся сведениям, ни один из агентов не покинул внутреннюю сеть OpenAI. Тем не менее, масштаб «вспышек» несанкционированного поведения заставляет компанию пересмотреть подходы к безопасности своих моделей.

Reuters подчеркивает, что контроль над ИИ перестала быть «проблемой одной компании». Расследование OpenAI совпало с признанием конкурента — компании Anthropic, которая сообщила о серии взломов, совершенных ее собственными моделями. Эти атаки привели к утечкам данных в трех различных компаниях, начиная с апреля этого года.

Специалисты по безопасности выражают растущую обеспокоенность тем, что темпы разработки ИИ значительно опережают возможности по обеспечению его безопасности.

Инциденты спровоцировали резкое усиление давления со стороны правительств США и Евросоюза, отмечает Reuters. Президент Дональд Трамп заявил, что администрация уже рассматривает меры контроля над деятельностью ИИ-лабораторий, а Еврокомиссия — ведет переговоры с представителями OpenAI и Anthropic по поводу произошедших хакерских атак.

29 июля ИИ от конкурента OpenAI - Anthropic - Claude трижды взломал реальные системы во время обучения. Неправильная настройка позволила Claude выйти в сеть из тестовых сред, которые должны были быть изолированы, что привело к несанкционированному доступу к системам трех организаций.