Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Исследователи разработали систему управления человекоподобными роботами с использованием различных входных данных, от телеуправления и видео до текста и музыки. Система под названием SONIC позволяет таким устройствам выполнять естественные движения всего тела, включая бег, прыжки, захват и плавные переходы между различными действиями. В отличие от многих существующих контроллеров, созданных для выполнения конкретных задач, SONIC разработан для поддержки широкого спектра движений в рамках единой политики.

Скриншот видео NVIDIA/YouTube

Специалисты американской технологической корпорации NVIDIA продемонстрировали разработанную систему как при помощи моделирования, так и на человекоподобном роботе, показав её способность выполнять разнообразные движения и повседневные задачи. SONIC использует единую стратегию, обученную на более чем 100 миллионах кадров движений, вместо обучения отдельных контроллеров для каждого навыка. Такой подход позволяет андроиду воспроизводить разнообразные движения, одновременно улучшая его способность к обобщению движений, не наблюдавшихся во время обучения.

Ныне существующие системы управления, как правило, представляют собой относительно небольшие нейронные сети, разработанные для решения конкретных задач, а новые модели поведения часто требуют отдельного проектирования целей и обучения. Разработка компании NVIDIA позволяет решить эту проблему, являющейся одной из главных в человекоподобной робототехнике. SONIC рассматривает отслеживание движения как масштабируемую задачу обучения, используя плотный покадровый контроль на основе данных о движении человека для обеспечения согласованного сигнала обучения для большого и разнообразного набора моделей поведения.

Проектировщики масштабировали SONIC по трём параметрам: объёму обучающих данных, ёмкости модели и вычислительной мощности. Обучающий набор данных содержит более 100 миллионов кадров, полученных примерно из 700 часов данных захвата движений, а самая большая модель содержит 42 миллиона параметров. Для обучения использовалось до 128 графических процессоров, работавших около 21000 часов. При этом тестирования продемонстрировали постепенное улучшение отслеживания и обобщения по мере увеличения объёма данных, размера модели и вычислительной мощности.

Центральным компонентом системы SONIC является универсальное пространство токенов, позволяющее преобразовывать различные типы входных данных о движении, в общее представление. Специализированные кодировщики обрабатывают движения робота, движения человека и гибридные команды, прежде чем преобразовать их в квантованный токен, который поступает в общий декодер управления роботом. Такая архитектура позволяет использовать одну и ту же политику управления для связи отслеживания движения с телеуправлением в виртуальной реальности, управлением на основе видео, текстовыми командами, генерацией движений под воздействием музыки и моделями «зрение-язык-действие».

В составе системы также имеется планировщик кинематических движений в реальном времени для генерации коротких сегментов движения между ключевыми кадрами. Планировщик может непрерывно перепланировать движение на основе поступающих команд, обеспечивая интерактивные изменения направления, скорости и стиля движения без переобучения базовой модели. Таким образом, SONIC имеет уровень управления, способный преобразовывать высокоуровневые намерения движения в непрерывное движение всего тела робота.

Для мультимодального управления (на основе нескольких типов восприятия) SONIC может получать движения человека, генерируемые видео, инструкциями на естественном языке или музыкой, и передавать эти движения в свою политику отслеживания. Видеоинформация может обрабатываться из предварительно записанных роликов или потоков с веб-камеры в реальном времени, а текстовые подсказки могут указывать на такие действия, как ходьба или удар ногой. Управление на основе музыки генерирует танцевальные движения из ритмической и мелодической информации, при этом система способна переключаться между различными режимами ввода.

Специалисты тестировали систему SONIC на человекоподобном роботе Unitree G1 и продемонстрировали её способность отслеживать различные движения в реальном мире. В 123 реальных последовательностях движений система продемонстрировала успешность на уровне 99,2%. В ходе моделирования уровень успешности составил 100%. Таким образом, между результатами моделирования и реального применения наблюдается минимальный разрыв. 

Система SONIC также была связана с моделью «зрение-язык-действие» через свой универсальный токен-интерфейс. При выполнении пяти задач, в которых было задействовано всё тело человекоподобного робота, уровень успешности системы составил 75%. Робот осуществлял подбор предметов, открытие мусорного ведра с помощью ножной педали и координацию движений рук и ног для перемещения банки с газировкой в урну.

Исследователи утверждают, что такое общее представление действий может облегчить системам искусственного интеллекта более высокого уровня управление всем гуманоидным телом, вместо того чтобы рассматривать передвижение и манипуляцию как отдельные задачи.