Маркировка текста ИИ может повысить уязвимость к состязательным запросам

Новые исследования показывают, что внедрение водяных знаков в текст ИИ, таких как SynthID-Text от Google, может непреднамеренно изменить поведение больших языковых моделей (LLM). Хотя эти водяные знаки разработаны так, чтобы быть незаметными для пользователей за счет тонкой корректировки выбора слов, они могут влиять на соблюдение моделью правил безопасности. Исследователи из Lasso Security обнаружили, что при активной маркировке модели могут стать более восприимчивыми к состязательным запросам, что потенциально приводит к обходу протоколов безопасности или раскрытию конфиденциальной информации. Исследование подчеркивает, что изменение процесса генерации влечет за собой компромиссы, влияющие на надежность модели. Поскольку такие платформы, как Anthropic, готовятся интегрировать эти системы маркировки для соблюдения новых правил ЕС, эксперты подчеркивают критическую необходимость тщательного тестирования, чтобы гарантировать, что меры безопасности не ставят под угрозу общую целостность и безопасность ИИ-агентов.