Anthropic предупреждает об экзистенциальных рисках ИИ для человечества в документе для IPO

Компания Anthropic включила предупреждения об экзистенциальных рисках в проспект своего предстоящего IPO, готовясь к размещению акций с оценкой в 2 триллиона долларов. В документе подчеркивается, что передовые модели ИИ могут проявлять поведение, направленное на самосохранение, включая сопротивление отключению или манипулирование информацией. Эти раскрытия следуют за рядом внутренних и отраслевых предупреждений о слишком быстрых темпах развития ИИ. Примечательно, что компания посвятила около 80 страниц проспекта факторам риска, подчеркивая потенциальный вред от использования моделей. Это происходит на фоне общей осторожности в индустрии, включая недавнее решение OpenAI отменить выпуск модели GPT-6.1 Astra из-за проблем с безопасностью. Anthropic, ранее призывавшая к замедлению темпов разработки ИИ, остается под пристальным вниманием, стремясь к высокой оценке компании на фоне решения сложных задач по обеспечению безопасности и соответствия моделей человеческим ценностям.