Похоже, что проблема была вызвана тем, как звук обрабатывается в Pygame.Похоже, что загрузка процессора - это известная проблема с pygame, и о ней есть разные сообщения, особенно эта помогла решить эту проблему:
https://github.com/pygame/pygame/issues/331
Я обновил код, чтобы отключить некоторыекласс микшера в пигаме и это помогло.Мне повезло, что в этом проекте звук не нужен: -)
53 pygame.init() # here we start all of the pygame stuff
54 pygame.mixer.quit()
Наконец, есть рекомендации по компиляции Pygame из исходного кода для решения проблемы, если нужен микшер
https://github.com/pygame/pygame