Прежде всего, используйте виртуальную среду.
Эта ссылка обязательно поможет, любезно go через нее.
После активации виртуальной среды проверьте и обновите свою версию python (при необходимости).
Затем для среды тренажерного зала используйте conda install -c powerai gym
Дополнительная литература , я предлагаю вам go через это один раз.
Еще одна проблема, с которой вы можете столкнуться, касается сборки CUDA (если вы обновили python с 3.7 до 3.8), это будет выглядеть как this (Spyder) и этот этот (PyTorch) . Вы, вероятно, не столкнетесь с этим.
Используйте указанную выше команду и обновите ее соответствующим образом, если вы столкнетесь с подобной ошибкой, ее тоже можно решить, но это выходит за рамки текущей проблемы.
ОБНОВЛЕНИЕ - 1
Попробуйте использовать pip install "gym[atari]"
и посмотрите, решит ли это ошибку, если все еще есть ошибка синтаксического анализа, может быть несоответствие библиотеки, обновите, и я соответствующим образом обновлю ответ.