Почему Python's math.factorial не работает с потоками? - PullRequest
Новая
       20

Почему Python's math.factorial не работает с потоками?

3 голосов
/ 22 марта 2012

Почему math.factorial действует так странно в потоке?

Вот пример, он создает три потока:

  • поток, который просто спит какое-то время
  • поток, который на некоторое время увеличивает int
  • поток, который выполняет math.factorial для большого числа.

Он вызывает start в потоках, затем joinс таймаутом

Потоки сна и вращения работают как положено и сразу возвращаются из start, а затем сидят в join в течение тайм-аута.

Факторная нить на другомрука не возвращается из start, пока не дойдет до конца! 

import sys
from threading import Thread
from time import sleep, time
from math import factorial

# Helper class that stores a start time to compare to
class timed_thread(Thread):
    def __init__(self, time_start):
        Thread.__init__(self)
        self.time_start = time_start

# Thread that just executes sleep()
class sleep_thread(timed_thread):
    def run(self):
        sleep(15)
        print "st DONE:\t%f" % (time() - time_start)

# Thread that increments a number for a while       
class spin_thread(timed_thread):
    def run(self):
        x = 1
        while x < 120000000:
            x += 1
        print "sp DONE:\t%f" % (time() - time_start)

# Thread that calls math.factorial with a large number
class factorial_thread(timed_thread):
    def run(self):
        factorial(50000)
        print "ft DONE:\t%f" % (time() - time_start)

# the tests

print
print "sleep_thread test"
time_start = time()

st = sleep_thread(time_start)
st.start()
print "st.start:\t%f" % (time() - time_start)
st.join(2)
print "st.join:\t%f" % (time() - time_start)
print "sleep alive:\t%r" % st.isAlive()


print
print "spin_thread test"
time_start = time()

sp = spin_thread(time_start)
sp.start()
print "sp.start:\t%f" % (time() - time_start)
sp.join(2)
print "sp.join:\t%f" % (time() - time_start)
print "sp alive:\t%r" % sp.isAlive()

print
print "factorial_thread test"
time_start = time()

ft = factorial_thread(time_start)
ft.start()
print "ft.start:\t%f" % (time() - time_start)
ft.join(2)
print "ft.join:\t%f" % (time() - time_start)
print "ft alive:\t%r" % ft.isAlive()

А вот вывод на Python 2.6.5 на CentOS x64: 

sleep_thread test
st.start:       0.000675
st.join:        2.006963
sleep alive:    True

spin_thread test
sp.start:       0.000595
sp.join:        2.010066
sp alive:       True

factorial_thread test
ft DONE:        4.475453
ft.start:       4.475589
ft.join:        4.475615
ft alive:       False
st DONE:        10.994519
sp DONE:        12.054668

У меня естьпопробовал это на python 2.6.5 на CentOS x64, 2.7.2 на Windows x86, и поток факториала не возвращается из запуска ни на одном из них, пока поток не завершится.

Я также пробовал это сPyPy 1.8.0 на Windows x86, и там результат немного отличается.Старт возвращает немедленно, но затем время соединения не истекает! 

sleep_thread test
st.start:       0.001000
st.join:        2.001000
sleep alive:    True

spin_thread test
sp.start:       0.000000
sp DONE:        0.197000
sp.join:        0.236000
sp alive:       False

factorial_thread test
ft.start:       0.032000
ft DONE:        9.011000
ft.join:        9.012000
ft alive:       False
st DONE:        12.763000

Также пробовал IronPython 2.7.1, он дает ожидаемый результат. 

sleep_thread test
st.start:       0.023003
st.join:        2.028122
sleep alive:    True

spin_thread test
sp.start:       0.003014
sp.join:        2.003128
sp alive:       True

factorial_thread test
ft.start:       0.002991
ft.join:        2.004105
ft alive:       True
ft DONE:        5.199295
sp DONE:        5.734322
st DONE:        10.998619

Ответы [ 2 ]

5 голосов
/ 22 марта 2012

Потоки часто позволяют чередовать только разные вещи в Python, а не разные вещи в одно и то же время из-за Глобальной блокировки интерпретатора .

Если вы посмотрите на Pythonбайт-код: 

from math import factorial

def fac_test(x):
    factorial(x)

import dis
dis.dis(fac_test)

вы получаете: 

  4           0 LOAD_GLOBAL              0 (factorial)
              3 LOAD_FAST                0 (x)
              6 CALL_FUNCTION            1
              9 POP_TOP             
             10 LOAD_CONST               0 (None)
             13 RETURN_VALUE

Как видите, вызов math.factorial - это одиночная операция на уровне байт-кода Python (6 CALL_FUNCTION) -он реализован в C. factorial не выпускает GIL из-за типа выполняемой работы (см. комментарии к моему ответу), поэтому Python не переключается на другие потоки во время работы, и вы получаете результат, который вынаблюдал.

2 голосов
/ 22 марта 2012

Python имеет глобальную блокировку интерпретатора (GIL), которая требует, чтобы потоки, связанные с ЦП, выполняли свою очередь по очереди, а не работали одновременно.Поскольку функция факториала написана на C и не освобождает GIL, даже установки sys.setswitchinterval недостаточно для обеспечения взаимодействия потоков.

Модуль multiprocessing предоставляет объекты Process, которые похожи на потоки, но работаютв отдельных адресных пространствах.Для задач, связанных с процессором, вам настоятельно рекомендуется использовать модуль multiprocessing.

...