Свободное от модели или основанное на модели глубокое усиление обучения для автомобильных гонок?

Question

Я новичок в области обучения подкреплению.Так что я совершенно запутался с терминами «на основе модели» или «без модели».

Например, в видеоигре, если я хочу обучить агента (машину) ездить по гоночной трассе.

Если мои данные представляют собой изображение игры от первого лица размером 256x256x3, должен ли я использовать алгоритм свободной модели RL?

И если я хочу сделать то же самое, но с видом от третьего лица вышеипподром, зная координаты, скорость автомобиля и все препятствия и т. д., мне следует использовать модель на основе RL?

Спасибо за ваше время.

Answer 1

В модели на основе модели вы изучаете модель динамики вашей системы и используете ее для планирования или для создания «поддельных» выборок. Если вы можете хорошо изучить динамику, это может быть чрезвычайно полезно, но если ваша модель ошибочна, это может привести к катастрофическим последствиям.

Тем не менее, не существует общего правила, когда следует использовать модель без модели или на основе модели. Обычно это зависит от того, насколько у вас есть предварительные знания, которые помогут вам выучить хорошую динамическую модель.