Слишком медленное форматирование строки Python - PullRequest
Новая
       5

Слишком медленное форматирование строки Python

8 голосов
/ 14 апреля 2010

Я использую следующий код для входа в карту, это быстро, когда она содержит только нули, но как только на карте появляются реальные данные, она становится невыносимо медленной ... Есть ли способ сделать это быстрее? 

log_file = open('testfile', 'w')
for i, x in ((i, start + i * interval) for i in range(length)):
    log_file.write('%-5d %8.3f %13g %13g %13g %13g %13g %13g\n' % (i, x,
        map[0][i], map[1][i], map[2][i], map[3][i], map[4][i], map[5][i]))

Ответы [ 3 ]

3 голосов
/ 14 апреля 2010

Я предлагаю вам запустить код с помощью модуля cProfile и постобработать результаты, как описано в http://docs.python.org/library/profile.html. Это даст вам точную информацию о том, сколько времени потрачено на вызов str.__mod__ для форматирования строки и сколько потрачено на другие вещи, такие как написание файла и выполнение __getitem__ поиска для map[0][i] и тому подобное.

2 голосов
/ 14 апреля 2010

Сначала я проверил% против обратного цитирования. % быстрее. Затем я проверил% (кортеж) против 'string'.format (). Первоначальная ошибка заставила меня думать, что это было быстрее. Но нет. % быстрее.

Итак, вы уже выполняете огромную кучу преобразований с плавающей запятой в самый быстрый способ, которым вы можете сделать это в Python.

Демонстрационный код ниже является уродливым демонстрационным кодом. Пожалуйста, не читайте мне лекции о xrange в зависимости от диапазона или другой педантичности. KThxBye.

Мое специальное и крайне ненаучное тестирование показывает, что (a) операции% (1.234,) на Python 2.5 в linux быстрее, чем операция% (1.234, ...) Python 2.6 в linux, для тестового кода ниже, при условии, что попытка использовать 'string'.format () не будет работать на версиях Python до 2.6. И так далее. 

# this code should never be used in production.
# should work on linux and windows now.

import random
import timeit
import os
import tempfile


start = 0
interval = 0.1

amap = [] # list of lists
tmap = [] # list of tuples

def r():
    return random.random()*500

for i in xrange(0,10000):
        amap.append ( [r(),r(),r(),r(),r(),r()] )

for i in xrange(0,10000):
        tmap.append ( (r(),r(),r(),r(),r(),r()) )




def testme_percent():
    log_file = tempfile.TemporaryFile()
    try:
        for qmap in amap:
            s = '%g %g %g %g %g %g \n' % (qmap[0], qmap[1], qmap[2], qmap[3], qmap[4], qmap[5]) 
            log_file.write( s)
    finally:
        log_file.close();

def testme_tuple_percent():
    log_file = tempfile.TemporaryFile()
    try:    
        for qtup in tmap:
            s = '%g %g %g %g %g %g \n' % qtup
            log_file.write( s );
    finally:
        log_file.close();

def testme_backquotes_rule_yeah_baby():
    log_file = tempfile.TemporaryFile()
    try:
        for qmap in amap:
            s = `qmap`+'\n'
            log_file.write( s );
    finally:
        log_file.close();        

def testme_the_new_way_to_format():
    log_file = tempfile.TemporaryFile()
    try:
        for qmap in amap:
            s = '{0} {1} {2} {3} {4} {5} \n'.format(qmap[0], qmap[1], qmap[2], qmap[3], qmap[4], qmap[5]) 
            log_file.write( s );
    finally:
        log_file.close();

# python 2.5 helper
default_number = 50 
def _xtimeit(stmt="pass",  timer=timeit.default_timer,
           number=default_number):
    """quick and dirty"""
    if stmt<>"pass":
        stmtcall = stmt+"()"
        ssetup = "from __main__ import "+stmt
    else:
        stmtcall = stmt
        ssetup = "pass"
    t = timeit.Timer(stmtcall,setup=ssetup)
    try:
      return t.timeit(number)
    except:
      t.print_exc()


# no formatting operation in testme2

print "now timing variations on a theme"

#times = []
#for i in range(0,10):

n0 = _xtimeit( "pass",number=50)
print "pass = ",n0

n1 = _xtimeit( "testme_percent",number=50);
print "old style % formatting=",n1

n2 = _xtimeit( "testme_tuple_percent",number=50);
print "old style % formatting with tuples=",n2

n3 = _xtimeit( "testme_backquotes_rule_yeah_baby",number=50);
print "backquotes=",n3

n4 = _xtimeit( "testme_the_new_way_to_format",number=50);
print "new str.format conversion=",n4


#        times.append( n);




print "done"

Я думаю, что вы могли бы оптимизировать свой код, создавая свои TUPLES с плавающей точкой где-то еще, где бы вы ни создавали эту карту, в первую очередь создайте свой список кортежей, а затем примените кортеж fmt_string% следующим образом: 

for tup in mytups:
    log_file.write( fmt_str % tup )

Мне удалось сократить время на 8,7 секунды до 8,5 секунд, выбрасывая часть создания кортежа из цикла for. Что не так много. У большого мальчика есть форматирование с плавающей запятой, которое, я считаю, всегда будет дорогим.

Альтернатива:

Рассматривали ли вы НЕ написание таких огромных журналов в виде текста, а вместо этого, сохраняя их, используя самый быстрый доступный метод "постоянства", а затем создавая короткую утилиту для вывода их в текст, когда это необходимо? Некоторые люди используют NumPy с очень большими числовыми наборами данных, и не похоже, что они будут использовать построчный дамп для хранения своих вещей. См:

http://thsant.blogspot.com/2007/11/saving-numpy-arrays-which-is-fastest.html

0 голосов
/ 15 апреля 2010

Не желая вникать в болтовню «оптимизируй этот код», я написал бы код, похожий на этот: 

log_file = open('testfile', 'w')
x = start
map_iter = zip(range(length), map[0], map[1], map[2], map[3], map[4], map[5])
fmt = '%-5d %8.3f %13g %13g %13g %13g %13g %13g\n'
for i, m0, m1, m2, m3, m4, m5 in mapiter:
    s = fmt % (i, x, m0, m1, m2, m3, m4, m5)
    log_file.write(s)
    x += interval

Но я приму к сведению, что вы не должны называть переменные после встроенных Python, например, map.

...