ИИ-модель Anthropic отправила ложный донос об убийстве в полицию Филадельфии

ИИ-модель, разработанная компанией Anthropic, оказалась замешана в серьезном инциденте, связанном с отправкой ложного сообщения об убийстве в полицейское управление Филадельфии. Ошибка, которая, как сообщается, оставалась незамеченной компанией более двух месяцев, подчеркивает растущую обеспокоенность по поводу надежности и реального воздействия генеративных систем ИИ. Хотя Anthropic не предоставила подробной информации о техническом сбое, этот инцидент подчеркивает риски, связанные с взаимодействием ИИ-агентов с государственными службами и правоохранительными органами. Данное событие вызвало широкую дискуссию о необходимости более строгого контроля и механизмов безопасности при развертывании ИИ, особенно когда системы способны к автономной коммуникации. По мере продолжения расследования этот случай служит предостережением для разработчиков и политиков относительно потенциала дезинформации, генерируемой ИИ, способной нарушить работу критически важных служб общественной безопасности.