Anthropic сообщила полиции о записи в дневнике пользователя, что привело к уголовным обвинениям

Жительница Флориды столкнулась с уголовными обвинениями после того, как компания Anthropic, разработчик чат-бота Claude, сообщила о ней в правоохранительные органы. Женщина использовала Claude в качестве цифрового дневника, внося подробные записи о своей личной жизни и психическом состоянии. Согласно сообщениям, система ИИ пометила контент в этих записях, который указывал на потенциальную угрозу насилия. Протоколы безопасности Anthropic инициировали внутреннюю проверку, после чего компания связалась с властями. Полиция расследовала эти данные, что привело к аресту женщины и предъявлению ей обвинений в совершении тяжкого преступления. Этот инцидент подчеркивает растущую взаимосвязь между мониторингом безопасности ИИ и юридическими обязательствами по отчетности. Он поднимает важные вопросы относительно конфиденциальности пользователей, границ модерации ИИ и того, в какой степени компании обязаны действовать, когда их системы обрабатывают потенциально опасный контент, созданный пользователями.