Anthropic сообщила о попытках пользователей обойти защиту ИИ для исследований в области биологического оружия

Компания Anthropic заявила, что успешно пресекла несколько попыток пользователей использовать свои модели ИИ для исследований, связанных с разработкой биологического оружия. В недавнем отчете стартап подробно описал пять случаев, когда злоумышленники использовали методы маскировки и обходили системы безопасности, чтобы получить доступ к ограниченной информации. Эти попытки исходили из разных стран, включая те, где доступ к технологиям Anthropic запрещен, такие как Россия, Китай и Иран. Компания подчеркнула, что эти инциденты подчеркивают растущие риски, связанные с использованием генеративного ИИ в чувствительных научных областях. Делясь этими данными, Anthropic стремится стимулировать диалог между ИИ-индустрией и государственными регуляторами по вопросам снижения биологических угроз. Отчет служит призывом к технологическому сектору усилить протоколы безопасности и улучшить возможности мониторинга, чтобы предотвратить использование передового искусственного интеллекта в качестве оружия.