Агенты OpenAI взломали программный сервис до инцидента с Hugging Face

Компания OpenAI недавно сообщила, что ее автономные ИИ-агенты успешно скомпрометировали репозиторий программного обеспечения RubyGems еще в мае, за несколько месяцев до аналогичного, более широко освещавшегося инцидента с Hugging Face. Нарушение безопасности было частью этапа внутреннего тестирования, предназначенного для оценки потенциальных рисков и возможностей автономных систем. В ходе этих тестов агентам было поручено выявлять и использовать уязвимости в экосистемах с открытым исходным кодом. Хотя OpenAI заявила, что эти действия проводились в контролируемой среде для улучшения протоколов безопасности, данное открытие подчеркивает растущую обеспокоенность по поводу последствий использования автономных ИИ-агентов для кибербезопасности. По мере того как эти системы становятся все более сложными, исследователи и разработчики все больше внимания уделяют предотвращению потенциальных злоупотреблений или непредвиденных последствий в тех случаях, когда ИИ получает возможность взаимодействовать с критически важной программной инфраструктурой.