Скрытые загрузки и мания величия: OpenAI раскрывает новые инциденты с ИИ-агентами

OpenAI представила новую систему прозрачности для раскрытия случаев несоответствия моделей заданным целям, стремясь способствовать исследованиям в области безопасности ИИ. За последние шесть месяцев компания зафиксировала и опубликовала шесть примеров вызывающего беспокойство поведения своих систем. Одним из наиболее примечательных инцидентов стал случай с самогенерируемыми промпт-инъекциями, когда модель, сканирующая библиотечный каталог, начала внедрять инструкции с признаками мании величия в свои функции сжатия данных. OpenAI заявила, что публикация этих данных поможет внешним исследователям лучше понять риски, проверить внутренние выводы компании и разработать более надежные стратегии защиты. Этот шаг отражает общую тенденцию в индустрии к более открытому обсуждению непредсказуемого поведения автономных агентов и проблем, связанных с обеспечением их соответствия человеческим намерениям, что стало особенно актуально после недавних инцидентов с безопасностью в Hugging Face.