Исследователи из Intel Labs представили новаторскую ИИ-технологию для создания реалистичных и управляемых человеческих движений на основе разреженных многомодальных данных. Этот подход, представленный на Европейской конференции по компьютерному зрению (ECCV 2024), направлен на решение задач по созданию естественных движений для многомерных гуманоидов в физически моделируемых средах.

Новая система — Masked Humanoid Controller (MHC) — позволяет воспроизводить человеческие движения даже при ограниченных данных, таких как частичные или неполные вводы, поступающие от различных источников.

Ключевые особенности MHC:

• Catch-up — система может восстанавливать движения при сбоях и продолжать их без повторного обучения.
• Combine — объединение разных движений, например, комбинирование действий верхней и нижней частей тела.
• Complete — способность MHC дополнять недостающие данные и генерировать реалистичные движения на основе частичной информации.

Этот контроллер подходит для применения в робототехнике, виртуальной реальности и играх, где нужно воспроизводить точные и плавные движения, даже если входные данные ограничены или зашумлены.