Я сделал игру с помощью PyGame. Я хочу использовать вывод игрового экрана как пользовательский как наблюдение, а не набор расстояний и углов. (Я видел документацию по созданию пользовательской среды, но в этом наблюдении не было игрового экрана).
Я бы последовал руководству по обучению со сверточным подкреплением. http://karpathy.github.io/2016/05/31/rl/
Извлечь необработанные пиксели из Pygame для формирования массива наблюдений, который входит в вашу нейронную сеть, первые несколько слоев которого будут сверточными. Есть много примеров. Google "сырые пиксели обучения с подкреплением".