Dust: Предварительное обучение трансформеров без обратного распространения ошибки

Исследователи из QLabs представили «Dust», новый подход к предварительному обучению моделей Transformer, который исключает необходимость в традиционном обратном распространении ошибки (backpropagation). Используя алгоритм локального обучения, Dust стремится устранить узкие места в памяти и вычислениях, обычно связанные с обучением крупномасштабных нейронных сетей. Метод фокусируется на локальном обновлении весов внутри слоев, что может значительно сократить объем памяти, требуемый для обучения, потенциально позволяя более эффективно масштабировать модели ИИ. Это исследование бросает вызов стандартной зависимости от глобального градиентного спуска, предполагая, что правила локального обучения могут обеспечить сопоставимую производительность, предлагая при этом лучшее использование аппаратных ресурсов. Команда опубликовала свои результаты, чтобы стимулировать дальнейшее изучение альтернативных парадигм обучения, выходящих за рамки ограничений обратного распространения ошибки, что может проложить путь к более устойчивым и быстрым циклам разработки ИИ. Это достижение знаменует собой значительный сдвиг в подходе к фундаментальным механизмам обучения глубоких нейронных архитектур.