Получение 50 ГБ/с от Apple Neural Engine

В подробном техническом исследовании автор Eiln анализирует узкие места производительности Apple Neural Engine (ANE) на чипах Apple Silicon. Статья посвящена проблемам скорости передачи данных между системной памятью и ANE, что критически важно для высокопроизводительных задач машинного обучения. Путем обратной разработки паттернов доступа к памяти и использования методов прямого доступа к памяти (DMA), автор демонстрирует, как обойти стандартные ограничения драйверов для достижения значительно более высокой пропускной способности. В публикации детально рассматривается архитектура системы и объясняется, как стратегии отображения памяти и управления буферами позволяют достичь пропускной способности до 50 ГБ/с. Эта работа особенно важна для разработчиков, стремящихся оптимизировать локальный AI-инференс на оборудовании Apple, предлагая практическую методологию для максимизации эффективности нейронного процессора вне рамок официальных API Apple.