Компьютерное зрение on-premise: оптимизация модели «Ночной глаз» до 4 МБ

Разработчики проекта «Ночной глаз» представили результаты оптимизации системы компьютерного зрения для работы на локальных вычислительных мощностях. Изначально библиотека занимала около 30 МБ и требовала значительных ресурсов процессора, однако в ходе оптимизации библиотек и алгоритмов исполнения размер поставки был сокращен до 4,2 МБ. Новая версия модели способна размещаться во внутренней памяти процессора, что исключает необходимость постоянного обращения к оперативной памяти. В ходе тестов обработка одного кадра на одном ядре CPU занимает от 8,6 до 15,8 мс, что позволяет эффективно использовать решение на устройствах с ограниченными аппаратными ресурсами. Данный подход демонстрирует возможность достижения высокой производительности систем машинного обучения без использования облачных вычислений, что критически важно для задач, требующих низкой задержки и приватности данных.