Ученые изобрели новый шаговый двигатель DeepQ. Он может обрабатывать невыпуклую местность с препятствиями, ходить по ограниченным поверхностям, например ступенькам, и восстанавливаться после внешних возмущений с постоянными вычислительными затратами.
Реактивное пошаговое выполнение и восстановление с толчком для двуногих роботов часто ограничивается равниной из-за сложности вычисления областей захвата для нелинейных динамических моделей.
В новой работе ученые попытались устранить это ограничение, используя обучение с подкреплением, чтобы приблизительно изучить область захвата 3D для таких систем. Они предложили новый трехмерный реактивный шаговый двигатель DeepQ stepper, который вычисляет оптимальные местоположения шагов для ходьбы с разными скоростями, используя области трехмерного захвата, аппроксимируемые функцией «действие-значение».
Специалисты продемонстрировали способность подхода к обучению шагать с помощью упрощенной трехмерной модели маятника и полной динамики робота. В дальнейшем, шаговый двигатель достигнет более высокой производительности.
Он изучает приблизительные области захвата, принимая во внимание всю динамику робота, которая часто игнорируется в существующих реактивных шаговых двигателях, основанных на упрощенных моделях.