Мы слишком полагаемся на способность ИИ говорить «нет»

Недавний отчет MIT Technology Review рассматривает проблемы безопасности ИИ, в частности, зависимость отрасли от обучения моделей отказу на вредоносные запросы. Хотя такие компании, как OpenAI и Anthropic, внедряют механизмы защиты, чтобы предотвратить использование ИИ в опасных целях, таких как создание оружия или кибератаки, эти механизмы носят вероятностный, а не абсолютный характер. Эксперты утверждают, что, поскольку модели ИИ обучаются на огромных массивах данных, содержащих как полезную, так и вредную информацию, возможность злоупотребления остается встроенной в их архитектуру. Кроме того, неопределенность в вопросе о том, где провести грань между полезным и вредным контентом, усложняет эти меры безопасности. По мере роста возможностей ИИ, зависимость от несовершенных систем отказа создает риски, где один сбой может привести к серьезным последствиям. В статье делается вывод, что текущих мер безопасности может быть недостаточно для сдерживания угроз, исходящих от все более мощных и автономных систем ИИ.