Когда кэш с нулевым количеством параметров обходит трансформер

Недавний эксперимент демонстрирует разницу в производительности между трансформером с 1,43 млн параметров и простым кэшем документа с нулевым количеством параметров. Тестируя обе системы на документах разной длины, исследователи обнаружили, что, хотя трансформер доминирует при коротких контекстных окнах (около 60 токенов), его эффективность достигает плато. Напротив, механизм кэширования эффективно масштабируется с увеличением длины документа, превосходя нейронную сеть, когда текст достигает 250 и 1000 токенов. Исследование показывает, что вклад трансформера становится незначительным на больших длинах, при этом кэш обеспечивает 43% относительного преимущества на 1000 токенов. Результаты показывают, что длина документа является критическим ресурсом, который отдает предпочтение простому статистическому подсчету, а не нейронным моделям с фиксированным окном. Автор подчеркивает, что сравнение систем без определения конкретных осей ресурсов, от которых они зависят, может привести к вводящим в заблуждение выводам, поскольку рейтинги производительности могут полностью меняться в зависимости от контекста.