Исследователи Anthropic предупреждают об экзистенциальных рисках ИИ

Старший исследователь безопасности в Anthropic оценил вероятность того, что искусственный интеллект может привести к гибели человечества к концу десятилетия, более чем в 10 процентов. Эта тревожная оценка последовала за увольнением другого сотрудника Anthropic, который покинул компанию из-за опасений, что она и ее конкуренты по отрасли ставят разработку сверхчеловеческих систем выше необходимых протоколов безопасности. Уходящий исследователь утверждает, что нынешняя гонка за созданием передового ИИ ведется без адекватных мер контроля, что потенциально создает неконтролируемые риски. Эти внутренние предупреждения подчеркивают растущий раскол в индустрии ИИ относительно баланса между быстрыми инновациями и экзистенциальной безопасностью. Anthropic, позиционирующая себя как организация, ориентированная на безопасность, теперь сталкивается с повышенным вниманием к своей внутренней культуре и долгосрочным последствиям своей исследовательской траектории, поскольку дискуссии о контроле над ИИ среди ведущих разработчиков становятся все более острыми.