Вектор Env с пользовательской моделью

Question

Я читал о том, как использовать векторизованные среды с модулем SubProcVenv из здесь и здесь .

Однако все примеры, которые я могу найти, используют стабильные базовые показатели (модели openai), и я не могу найти способ сделать это с моей пользовательской моделью.

Можно ли это сделать? И как так?

Answer 1

Это можно сделать, как указано в записной книжке Colab. Я не уверен, с какой проблемой вы сталкиваетесь. Способ, который я реализовал для своей пользовательской среды:

# Instantiate the env
env = customEnv()

# Wrap it
env = DummyVecEnv([lambda: env])

EPISODES = 5000
# Instantiate and learn using stable-baselines
model = PPO2('MlpPolicy', env).learn(EPISODES)

Я уверен, что вы можете сделать то же самое и для SubProcVenv. Go для SubProcVenv только , если вы хотите использовать многопроцессорность.