Использование компьютера на macOS в 1.8 раза быстрее и на 85% дешевле, чем с одним лишь cua-driver

Разработан новый инструмент под названием beans-picker, оптимизирующий взаимодействие ИИ-агентов с приложениями macOS. Проект, построенный на базе cua-driver, решает проблему высокого потребления токенов и задержек, возникающих из-за того, что агенты считывают полные деревья доступности и скриншоты для каждого действия. Вместо этого beans-picker извлекает список возможных действий и использует специализированную модель Jev для выбора нужного элемента управления. Тесты показывают, что такой подход в 1.8 раза быстрее и на 85% дешевле, чем использование только cua-driver: медианное время выполнения задачи сократилось с 49.7 до 28.1 секунд, а стоимость — с $0.388 до $0.060 за прогон. Инструмент предназначен для фоновой автоматизации, позволяя пользователям продолжать работу, пока агент выполняет задачи. Проект является открытым и доступен на GitHub для тех, кто хочет повысить эффективность своих рабочих процессов автоматизации на macOS.