Я строю вложенную структуру данных defaultdict, как показано ниже:
mydata = defaultdict(lambda: defaultdict(lambda: defaultdict(
lambda: defaultdict(lambda: defaultdict(lambda: defaultdict(int))))))
при обработке большого файла построчно.Для каждой обработки строки я делаю следующее:
mydata[level_1][level_2][level_3][level_4][level_5][level_6] += 1
После того, как обработка файла завершена, я затем перебираю диктант вложенных mydata для дальнейшего суммирования.Проблема в том, что когда файл слишком велик, dict использует всю память и становится невозможным.Не могли бы вы указать мне лучшее решение этой проблемы?