Нейросеть по рецепту: вычисляем веса вместо хранения матриц

Статья на Habr исследует альтернативные методы хранения параметров нейронных сетей. Вместо классического хранения огромных матриц весов, авторы предлагают использовать «рецепты» — алгоритмические способы генерации весов на лету. Рассматриваются различные подходы: от использования небольших вспомогательных сетей-генераторов до математических формул и фрактальных структур. Основная цель таких исследований — радикальное сокращение объема памяти, необходимого для работы моделей, что критически важно для запуска современных LLM на устройствах с ограниченными ресурсами. Автор анализирует эффективность этих методов, взвешивая выигрыш в компактности против вычислительных затрат на генерацию весов. В конечном итоге ставится вопрос о том, насколько близки современные языковые модели к тому, чтобы стать доступными для запуска на любом бытовом устройстве, подобно тому, как это произошло с классическими играми в прошлом.