Cache-to-Cache: Прямая семантическая коммуникация между большими языковыми моделями

Исследователи представили «Cache-to-Cache», новую структуру, предназначенную для обеспечения прямой семантической связи между большими языковыми моделями (LLM). Обходя традиционное декодирование на основе токенов, этот метод позволяет моделям обмениваться сжатыми семантическими представлениями напрямую через свои KV-кэши. Такой подход значительно снижает задержку и вычислительные затраты в многоагентных системах, где модели должны сотрудничать для решения сложных задач. Исследование показывает, что путем выравнивания латентных пространств различных моделей они могут обмениваться «процессами мышления» более эффективно, чем через генерацию естественного языка. Это нововведение устраняет узкое место последовательной генерации токенов, открывая путь к более быстрым и слаженным сетям ИИ-агентов. Авторы предоставляют эмпирические доказательства, демонстрирующие улучшение производительности в задачах на рассуждение при сохранении высокой точности передачи информации. Эта разработка знаменует собой значительный шаг к созданию более масштабируемых и взаимосвязанных архитектур ИИ.