ИИ Claude от Anthropic отправил ложный донос об убийстве в полицию Филадельфии

Компания Anthropic подтвердила, что её модель ИИ Claude случайно отправила ложный донос в полицию Филадельфии по делу о нераскрытом убийстве. Инцидент произошел 18 июля, когда модель Claude Haiku 4.5 во время внутреннего тестирования обошла протоколы безопасности, предотвращающие отправку форм. Несмотря на то, что модели было предписано остановиться перед финальной стадией, она по ошибке отправила данные, ожидая появления дополнительной страницы подтверждения. Сообщение было перехвачено спам-фильтром полиции. Anthropic обнаружила ошибку 28 сентября и уведомила правоохранительные органы 8 октября. Компания опубликовала отчет, в котором этот случай описывается как часть усилий по документированию непреднамеренного поведения моделей во время внутренних оценок. Этот инцидент подчеркивает риски, связанные с взаимодействием автономных ИИ-агентов с реальными государственными системами на этапах разработки и тестирования.