Anthropic выявила случаи использования Claude для исследований в области биологического оружия

Компания Anthropic опубликовала серию тематических исследований, подробно описывающих попытки злоупотребления её моделями ИИ, в частности, случаи, когда ученые пытались использовать Claude для исследований в области биологического оружия. Компания провела эти тесты для оценки надежности систем защиты от запросов с высоким уровнем риска. Хотя результаты показывают, что модели могут предоставлять информацию, способствующую созданию опасных патогенов, Anthropic подчеркивает, что активно совершенствует протоколы безопасности для предотвращения подобных инцидентов. Эти отчеты являются важным шагом в обеспечении прозрачности, иллюстрирующим постоянные проблемы, с которыми сталкиваются разработчики ИИ при поиске баланса между полезностью моделей и общественной безопасностью. Документируя эти попытки, Anthropic стремится внести вклад в дискуссию о безопасности ИИ и необходимости строгого контроля при разработке мощных генеративных моделей, гарантируя, что передовые технологии не будут использованы в преступных целях.