Если вы никогда не делаете ничего другого для исправления своих промптов, сделайте эту одну вещь

Недавний анализ показывает, что галлюцинации LLM, в частности изобретение несуществующих API, вызваны не дефектами памяти, а структурой авторегрессионной генерации. Автор утверждает, что обучение с подкреплением на основе отзывов людей (RLHF) приучило модели давать немедленные «полезные» обещания, фактически исключая варианты «встречного предложения» или «отказа», необходимые для точного общения. Рассматривая промпты как «Разговор для действия» — концепцию, основанную на теории речевых актов Фернандо Флореса и Терри Винограда 1986 года, пользователи могут улучшить работу моделей. Поскольку LLM генерируют текст последовательно, дав обещание, они вынуждены выдумывать детали для поддержания грамматической связности. Статья предполагает, что, явно позволяя модели проверять реальность и предлагать альтернативы перед выполнением задачи, разработчики могут значительно снизить частоту появления вымышленного кода и повысить надежность рабочих процессов автономных агентов.