Bonsai 2 27B: Почти без потерь сжатие в 9 раз меньшем объеме

Компания PrismML представила Bonsai 2 27B, новую большую языковую модель, разработанную для удовлетворения растущего спроса на эффективное развертывание ИИ. Модель достигает производительности, близкой к исходной, при этом сокращая потребление памяти в девять раз по сравнению со стандартными аналогами. Благодаря использованию передовых методов сжатия, Bonsai 2 27B позволяет разработчикам запускать высокопроизводительные модели на оборудовании с ограниченными ресурсами, таком как потребительские графические процессоры или периферийные устройства, без существенной потери точности. Эта разработка является важным шагом в усилиях по повышению доступности и экономической эффективности мощного генеративного ИИ. Поскольку индустрия переходит к использованию более компактных и эффективных моделей для снижения затрат на инференс и задержек, последний релиз PrismML предлагает практическое решение для предприятий и исследователей, стремящихся оптимизировать свою ИИ-инфраструктуру.