Разделение большого файла в Python на несколько больших файлов - PullRequest
Новая
       44

Разделение большого файла в Python на несколько больших файлов

0 голосов
/ 11 июля 2019

Я пытаюсь разделить файл размером 622 МБ, который в конечном итоге будет импортирован в базу данных, но я могу импортировать не более 100 МБ для каждого импорта. Код и файл с разделителями-запятыми 622 МБ находятся в одной папке. Я возвращаюсь в Python через некоторое время ...

Код ниже от github выдает ошибку: 

NameError: name 'current_out_writer' is not defined

Кажется, что вызов csv.writer не инициализируется current_out_writer

Код здесь: https://gist.github.com/jrivero/1085501

import csv
    reader = csv.reader(filehandler, delimiter=delimiter)
    current_piece = 1
    current_out_path = os.path.join(
         output_path,
         output_name_template  % current_piece
    )

    current_out_writer = csv.writer(open(current_out_path, 'w'), delimiter=delimiter)

    current_limit = row_limit
    if keep_headers:
        headers = reader.next()
        current_out_writer.writerow(headers)
    for i, row in enumerate(reader):
        if i + 1 > current_limit:
            current_piece += 1
            current_limit = row_limit * current_piece
            current_out_path = os.path.join(
               output_path,
               output_name_template  % current_piece
            )
            current_out_writer = csv.writer(open(current_out_path, 'w'), delimiter=delimiter)
            if keep_headers:
                current_out_writer.writerow(headers)
current_out_writer.writerow(row)
...