Обновление : Для всех, кому интересно, с чем я поехал в конце -
Я разделил набор результатов на 4 и запустил 4 экземпляра одной и той же программы с одним аргументом, каждый из которых указывает, какой набор обрабатывать. Это помогло мне. Я также рассматриваю модуль PP. Хотя это сработало, оно предпочитает ту же программу. Пожалуйста, укажите, если это ужасная реализация! Спасибо ..
Вот что делает моя программа. Ничего интенсивного памяти. Это серийная обработка и скучно. Не могли бы вы помочь мне превратить это в более эффективный и захватывающий процесс? Скажем, я обрабатываю 1000 записей таким образом, и с помощью 4 потоков я могу запустить его за 25% времени!
Я читал статьи о том, как потоки Python могут быть неэффективными, если они сделаны неправильно. Даже создатель питона говорит то же самое. Так что я напуган, и пока я читаю больше о них, хочу посмотреть, смогут ли яркие люди здесь направить меня в правильном направлении. Muchos gracias!
def startProcessing(sernum, name):
'''
Bunch of statements depending on result,
will write to database (one update statement)
Try Catch blocks which upon failing,
will call this function until the request succeeds.
'''
for record in result:
startProc = startProcessing(str(record[0]), str(record[1]))