Как объединить наборы инструментов оптимизации Drake с симулятором mujoco-py?

Question

Проблема заключается в следующем: предположим, что одиночное моделирование MuJoCo проводится с входными параметрами A и B, и моделирование выводит одно выходное значение V. MuJoCo получает «плавающее» значение A и B, запускает моделирование и затем выходные данные V.

Цель оптимизации состоит в том, чтобы минимизировать значение V путем регулировки 2 входных параметров A и B.

Как мы можем включить код оптимизации pydrake (например, prog = Mat математический модуль () ), с симуляцией MuJoCo?

В этом случае выходное значение V не может быть записано напрямую с параметрами A и B, поскольку MuJoCo является своего рода внешним «черным ящиком». Более того, поскольку MuJoCo является своего рода «черным ящиком», информация о градиенте для выхода V. не может быть предоставлена.

Был бы какой-нибудь обходной путь для этого?

Любые небольшие подсказки / комментарии будут высоко оценены.

Answer 1

Если у вас нет градиента, то я предлагаю использовать оптимизатор черного ящика. Один из вариантов - nevergrad , который содержит различные оптимизаторы черного ящика. Обратите внимание, что вам не нужно использовать математическую программу Дрейка для вызова nevergrad. Вам просто нужно написать функцию, которая принимает A и B, и оценивает вывод, используя MuJoCo.