Возвращение к рандомизации динамики: пример четвероногого передвижения

Возвращение к рандомизации динамики: пример четвероногого передвижения Источник фото: pixabay.com

Ученые исследовали рандомизацию движений роботов и внесли некоторую ясность и понимание роли динамической рандомизации в обучении устойчивой политике передвижения четвероногого робота Лайкаго.

Понимание разрыва между симуляцией и реальностью имеет решающее значение для обучения с подкреплением с помощью роботов на ногах, которые в основном обучаются симуляции.

Однако недавняя работа привела к иногда противоречивым выводам относительно того, какие факторы важны для успеха, включая роль динамической рандомизации. В своей новой работе специалисты в области робототехники стремились обеспечить ясность и понимание роли динамической рандомизации в обучении устойчивой политике передвижения четвероногого робота Лайкаго.

Удивительно, но в отличие от предыдущей работы с той же моделью робота, они обнаружили, что прямая передача сим-модели в реальную возможна без динамической рандомизации или схем адаптации на роботе.

Ученые провели обширные исследования абляции в среде sim-to-sim, чтобы понять ключевые вопросы, лежащие в основе успешной передачи политики, включая другие проектные решения, которые могут повлиять на устойчивость политики.

Они дополнительно обосновали свои выводы с помощью экспериментов с симуляцией и реальными экспериментами с различными скоростями и частотами шага.

Источник: arxiv.org