Обучение LLM в один клик: платформа распределённых вычислений на базе HGX

Павел, старший разработчик ML-платформы в Авито, рассказывает об эволюции инфраструктуры компании от использования отдельных SSH-машин до создания полноценной cloud-native платформы Aviflow. В статье подробно описывается путь перехода к распределённому обучению LLM, который был продиктован ростом команды дата-сайентистов и необходимостью оптимизации вычислительных ресурсов. Автор делится опытом реализации инфраструктуры на базе HGX, обсуждает технические сложности внедрения MLOps-практик и объясняет, как автоматизация процессов обучения моделей позволила значительно повысить эффективность работы специалистов. Статья будет полезна инженерам, занимающимся построением ML-платформ, и тем, кто сталкивается с задачами масштабирования вычислений для работы с большими языковыми моделями. Материал основан на докладе с конференции Kuber Conf и раскрывает практические аспекты построения современной ML-инфраструктуры в крупной компании.