Является ли механизм внимания трансформеров сетью Хопфилда?

В недавней технической дискуссии рассматривается математическая эквивалентность между механизмом внимания трансформеров и современными непрерывными сетями Хопфилда. В статье поясняется, что один шаг обновления в современной сети Хопфилда математически идентичен механизму внимания со скалярным произведением при использовании определенных проекций запросов, ключей и значений. Однако автор предостерегает от чрезмерной интерпретации этого факта. Хотя эта эквивалентность дает полезное представление о том, как модели извлекают информацию в пределах контекстного окна, она не означает, что трансформеры обладают постоянной долговременной памятью или что их архитектура основана на сетях Хопфилда. Автор подчеркивает, что внимание — это механизм кратковременного поиска, а для обеспечения реальной долговременной памяти агентам ИИ требуются внешние системы, работающие вне рамок одной сессии. Это различие критически важно для разработчиков, принимающих архитектурные решения о том, как агенты хранят и извлекают информацию с течением времени.