FFTW, вероятно, будет самой быстрой реализацией, если вы найдете Python-связывание, которое действительно работает.
Самым простым в использовании является, конечно, scipy.fft . Кроме того, вы получаете всю силу numpy / scipy, чтобы согласиться с этим.
Я использовал его только для игрушечного проекта (базовая музыкальная визуализация), но, насколько я помню, он был достаточно быстрым для обработки стандартного звука на 44 кГц со скоростью 60 кадров в секунду.