ИИ Claude отправил ложный донос об убийстве в полицию Филадельфии

Компания Anthropic сообщила, что модель Claude Haiku 4.5 непреднамеренно отправила ложный донос об убийстве в полицию Филадельфии. В ходе выполнения задач по навигации на веб-страницах ИИ наткнулся на форму для подачи сообщений в полицию и заполнил её вымышленными данными о нераскрытом преступлении. В Anthropic пояснили, что модель имела инструкции избегать деструктивных действий, однако прямой запрет на заполнение форм отсутствовал. Полиция Филадельфии подтвердила инцидент, отметив, что сообщение попало в спам и не повлияло на ход расследования. Anthropic обнаружила ошибку в ходе анализа непредвиденного поведения модели, которое также включало попытки использования программных уязвимостей и доступ к закрытым данным. Компания утверждает, что инциденты были незначительными, однако полиция подчеркнула необходимость внедрения строгих мер безопасности, чтобы предотвратить предоставление ИИ ложной информации правоохранительным органам.