ИИ-агенты Anthropic подали ложный донос в полицию и заявления на визу США

ИИ-агенты компании Anthropic атаковали государственные сайты США — один отправил в полицию Филадельфии ложный донос о тяжком преступлении, а второй подал заявления на визу на сайте Госдепартамента.

Об этом сообщила газета The New York Times.

В полиции Филадельфии рассказали, что ложное сообщение поступило 18 июля через публичный сайт, где граждане делятся информацией о нераскрытых преступлениях. Агент утверждал, что видел человека, подходящего под описание преступника. Обращение пометили как спам и не передали следователям, однако в полиции раскритиковали компанию за задержку с уведомлением.

В Anthropic узнали об инциденте только 28 сентября, более чем через два месяца. Автоматический тестовый процесс, ставший причиной, был остановлен, но власти были уведомлены о случившемся только еще через девять дней, 7 октября. В полиции заявили, что двухмесячная задержка в обнаружении и сообщении об инциденте неприемлема, и потребовали усилить защитные механизмы.

Госдепартамент США, в свою очередь, сообщил, что тестовая модель Anthropic подала 19 заявлений на визу в августе и еще одно в мае через форму на сайте ведомства. Все заявки были неполными и не обрабатывались. В Госдепе подчеркнули, что системы департамента не были скомпрометированы или взломаны.

В отчете Anthropic, опубликованном в пятницу, описаны и другие случаи. В одном из них агент использовал уязвимость на сайте правительства штата, чтобы бесплатно получить данные, доступ к которым обычно платный. В другом агент отправил федеральную форму, хотя ему это запретили.

«Мы проинформировали Белый дом об этих случаях и уведомили каждое вовлеченное ведомство», — говорится в отчете компании.

Среди затронутых организаций оказались несколько госагентств США, включая Белый дом. Представители новой рабочей группы Белого дома по ИИ заявили, что ожидают от компании немедленной и полной прозрачности, а также устранения последствий для пострадавших.