Что ломается при запуске 21 ИИ-инструмента, которые никогда не обращаются к серверу

Разработчики FreeToolHub поделились опытом создания 21 ИИ-инструмента, работающих полностью в браузере через WebML. Используя @huggingface/transformers и onnxruntime-web, команда исключила расходы на серверные вычисления и обеспечила конфиденциальность данных. Однако переход на серверный ИИ создал серьезные технические трудности. Ключевые проблемы включали настройку заголовков Cross-Origin-Embedder-Policy для работы SharedArrayBuffer без нарушения сторонних зависимостей, управление загрузкой тяжелых моделей для мобильных пользователей и устранение конфликтов версий между пакетами ONNX runtime. Команда также пришла к выводу, что браузерный ИИ пока не подходит для задач, требующих строго структурированного вывода, например, генерации JSON. В конечном счете, проект доказывает, что запуск ИИ на стороне клиента устраняет инфраструктурные затраты, но требует тщательного внимания к квантованию, стратегиям кэширования и управлению ресурсами для обеспечения стабильной работы на различных устройствах.