Просто тренируйте больше: измерение обменного курса

Недавний технический анализ исследует взаимосвязь между объемом обучающих данных и производительностью трансформерных моделей по сравнению с простыми кэшами на основе подсчета. Исследование изучает распространенный аргумент о том, что увеличение объема обучающих данных позволит небольшим моделям-трансформерам превзойти механизмы кэширования с нулевым количеством параметров в задачах дополнения документов. Оценивая контрольные точки на 500 тыс., 2 млн и 8 млн токенов, автор рассчитывает «обменный курс» между обучающими данными и доступом к контекстному окну. Результаты показывают, что, хотя увеличение данных улучшает производительность, точка пересечения, где трансформер обходит простой кэш, смещается медленно. Исследование указывает на то, что получение доступа к документу через большее контекстное окно значительно эффективнее, чем масштабирование обучающих данных. Автор заключает, что при фиксированном коротком контексте трансформеры с трудом конкурируют с простыми механизмами, подчеркивая, что архитектура модели и размер контекстного окна остаются критически важными переменными в современных исследованиях ИИ.