Создание и обучение LLM с нуля без платного GPU

Разработчик успешно создал и обучил 10-миллионную модель Transformer с нуля, используя только бесплатную версию Google Colab. Реализовав каждый слой и цикл обучения на PyTorch, проект стремится демистифицировать работу больших языковых моделей. Модель обучалась на наборе данных «Tiny Shakespeare», что позволяет быстро проводить итерации и отладку. Автор подробно описывает архитектуру, состоящую из шести слоев и шести голов внимания, и объясняет, как оптимизировать использование памяти для бесплатного GPU T4 с помощью обучения со смешанной точностью. Проект служит образовательным ресурсом для тех, кто хочет понять внутреннее устройство трансформеров, выходя за рамки высокоуровневых API. Полный код, включая скрипты обучения и инференса, доступен на GitHub, предоставляя практический подход к изучению того, как LLM обрабатывают контекст и генерируют текст.