HiPHI: Масштабный бенчмарк для высокоточного захвата движений человека и взаимодействия с объектами

В новой технической статье представлен HiPHI — масштабный набор данных для захвата движений, призванный устранить нехватку данных, ограничивающую обучение гуманоидных роботов. Используя FrameNet, лингвистическую структуру для описания действий человека, исследователи систематически собрали данные, охватывающие широкий спектр движений всего тела. Набор данных отличается включением синхронизированных траекторий объектов и сеток, что необходимо для обучения роботов сложным задачам, таким как толкание, перетягивание и переноска предметов. В статье показано, что политики обучения с подкреплением, обученные на этих данных, эффективно масштабируются, демонстрируя значительный рост производительности. Кроме того, исследователи подтверждают успешный перенос навыков из симуляции в реальность, при котором политики, обученные на HiPHI, применяются на физических гуманоидных роботах. Эта инициатива направлена на преодоление разрыва между видеоданными из интернета и требованиями к высокой точности в воплощенном ИИ, создавая прочную основу для будущих разработок в области гуманоидной робототехники и физического взаимодействия.