Pygame - это оболочка Python для библиотеки SDL , которая широко используется в разработке игр и обеспечивает OpenGL, управление звуком и вводом. Насколько мне известно, SDL, по крайней мере, довольно быстрый, а оболочка просто инкапсулирует двоичную функциональность для использования на Python. В зависимости от вашего использования вы можете достичь высокой скорости.