Добавить в JSON в Python (оптимально из-за ограничений ОЗУ) - PullRequest
Новая
       6

Добавить в JSON в Python (оптимально из-за ограничений ОЗУ)

1 голос
/ 05 января 2011

Я пытаюсь найти оптимальный способ добавить некоторые данные в файл json, используя Python. В основном происходит примерно 100 потоков, которые хранят данные в массиве. По завершении они отправляют это в файл json, используя json.dump. Однако, поскольку это может занять несколько часов для создания массива, я в конечном итоге заканчивается ОЗУ. Поэтому я пытаюсь понять, как лучше использовать минимальный объем оперативной памяти в этом процессе. Вот то, что у меня есть, что потребляет много оперативной памяти. 

        i               = 0
        twitter_data    = {}
        for null in range(0,1):
            while True:
                try:
                    for friends in Cursor(api.followers_ids,screen_name=self.ip).items():
                        twitter_data[i]                     = {}
                        twitter_data[i]['fu']               = self.ip
                        twitter_data[i]['su']               = friends
                        i = i + 1
                except tweepy.TweepError, e:
                    print "ERROR on " + str(self.ip) + " Reason: ", e
                    with open('C:/Twitter/errors.txt', mode='a') as a_file:
                        new_ii = "ERROR on " + str(self.ip) + " Reason: " + str(e) + "\n"
                        a_file.write(new_ii)
                break

        ## Save data

        with open('C:/Twitter/user_' + str(self.id) + '.json', mode='w') as f:
                json.dump(twitter_data, f, indent=2, encoding='utf-8')

Спасибо

Ответы [ 2 ]

3 голосов
/ 05 января 2011

Вывод отдельных элементов в виде массива по мере их создания, вручную создавая форматирование JSON для массива вокруг него. JSON - это простой формат, так что это тривиально.

Вот простой пример, который распечатывает массив JSON без необходимости хранить все содержимое в памяти; только один элемент в массиве должен быть сохранен одновременно. 

def get_item():
    return { "a": 5, "b": 10 }

def get_array():
    results = []
    yield "["
    for x in xrange(5):
        if x > 0:
            yield ","
        yield json.dumps(get_item())
    yield "]"

if __name__ == "__main__":
    for s in get_array():
        sys.stdout.write(s)
    sys.stdout.write("\n")
1 голос
/ 05 января 2011

Мое предположение, основанное на идее из ответа Гленна, но при сериализации большого диктанта по запросу ОП и использовании более питонического enumerate вместо ручного увеличения i (ошибки могут учитываться при ведении отдельного счетадля них и вычитая его из i перед записью в f): 

with open('C:/Twitter/user_' + str(self.id) + '.json', mode='w') as f:
   f.write('{')
   for i, friends in enumerate(Cursor(api.followers_ids,screen_name=self.ip).items()):
        if i>0:
            f.write(", ")
        f.write("%s:%s" % (json.dumps(i), json.dumps(dict(fu=self.ip, su=friends))))
   f.write("}")
...