Ленивый метод чтения больших файлов в Python?

Question

У меня очень большой файл 4 ГБ, и когда я пытаюсь прочитать его, мой компьютер зависает. Поэтому я хочу прочитать его по частям, и после обработки каждого куска сохранить обработанный фрагмент в другой файл и прочитать следующий фрагмент.

Есть ли способ yield этих частей?

Я бы хотел иметь ленивый метод .

Answer 1

Чтобы написать ленивую функцию, просто используйте yield:

def read_in_chunks(file_object, chunk_size=1024):
    """Lazy function (generator) to read a file piece by piece.
    Default chunk size: 1k."""
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data


f = open('really_big_file.dat')
for piece in read_in_chunks(f):
    process_data(piece)

---

Другой вариант - использовать iter и вспомогательную функцию:

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

---

Если файл основан на строках, объект файла уже является ленивым генератором строк:

for line in open('really_big_file.dat'):
    process_data(line)

Answer 2

Если ваш компьютер, ОС и python 64-битные , то вы можете использовать модуль mmap , чтобы отобразить содержимое файла в память и получить к нему доступ с помощью индексов и фрагментов. , Вот пример из документации:

import mmap
with open("hello.txt", "r+") as f:
    # memory-map the file, size 0 means whole file
    map = mmap.mmap(f.fileno(), 0)
    # read content via standard file methods
    print map.readline()  # prints "Hello Python!"
    # read content via slice notation
    print map[:5]  # prints "Hello"
    # update content using slice notation;
    # note that new content must have same size
    map[6:] = " world!\n"
    # ... and read again using standard file methods
    map.seek(0)
    print map.readline()  # prints "Hello  world!"
    # close the map
    map.close()

Если ваш компьютер, операционная система или python 32-битные , то большие файлы mmap могут зарезервировать большие части вашего адресного пространства и истощить вашу программу памяти.

Answer 3

file.readlines () принимает необязательный аргумент размера, который приблизительно соответствует количеству строк, прочитанных в возвращенных строках.

bigfile = open('bigfilename','r')
tmp_lines = bigfile.readlines(BUF_SIZE)
while tmp_lines:
    process([line for line in tmp_lines])
    tmp_lines = bigfile.readlines(BUF_SIZE)

Answer 4

Уже есть много хороших ответов, но недавно я столкнулся с подобной проблемой, и нужного мне решения здесь нет в списке, поэтому я решил, что могу дополнить эту тему.

80% времени, мне нужно читать файлы построчно. Затем, как предлагается в этом ответе , вы хотите использовать сам объект файла в качестве ленивого генератора:

with open('big.csv') as f:
    for line in f:
        process(line)

Однако недавно я столкнулся с очень большой (почти) однострочной CSV, где разделитель строк был фактически не '\n', а '|'.

• Чтение построчно не было вариантом, но мне все еще нужно было обрабатывать его построчно.
• Преобразование '|' в '\n' перед обработкой также не могло быть и речи, поскольку некоторые поля этого csv содержали '\n' (свободный ввод текста пользователем).
• Использование библиотеки csv также было исключено, потому что тот факт, что, по крайней мере в ранних версиях библиотеки, жестко запрограммирован для чтения строки ввода строкой .

Я придумал следующий фрагмент:

def rows(f, chunksize=1024, sep='|'):
    """
    Read a file where the row separator is '|' lazily.

    Usage:

    >>> with open('big.csv') as f:
    >>>     for r in rows(f):
    >>>         process(row)
    """
    incomplete_row = None
    while True:
        chunk = f.read(chunksize)
        if not chunk: # End of file
            if incomplete_row is not None:
                yield incomplete_row
                break
        # Split the chunk as long as possible
        while True:
            i = chunk.find(sep)
            if i == -1:
                break
            # If there is an incomplete row waiting to be yielded,
            # prepend it and set it back to None
            if incomplete_row is not None:
                yield incomplete_row + chunk[:i]
                incomplete_row = None
            else:
                yield chunk[:i]
            chunk = chunk[i+1:]
        # If the chunk contained no separator, it needs to be appended to
        # the current incomplete row.
        if incomplete_row is not None:
            incomplete_row += chunk
        else:
            incomplete_row = chunk

Я успешно проверил его на больших файлах и с разными размерами фрагментов (я даже пробовал размер фрагмента в 1 байт, просто чтобы убедиться, что алгоритм не зависит от размера).

Answer 5

f = ... # file-like object, i.e. supporting read(size) function and 
        # returning empty string '' when there is nothing to read

def chunked(file, chunk_size):
    return iter(lambda: file.read(chunk_size), '')

for data in chunked(f, 65536):
    # process the data

ОБНОВЛЕНИЕ: подход лучше всего объяснить в https://stackoverflow.com/a/4566523/38592

Answer 6

Я думаю, что мы можем написать так:

def read_file(path, block_size=1024): 
    with open(path, 'rb') as f: 
        while True: 
            piece = f.read(block_size) 
            if piece: 
                yield piece 
            else: 
                return

for piece in read_file(path):
    process_piece(piece)

Answer 7

Мне запрещено комментировать из-за моей низкой репутации, но решение SilentGhosts должно быть намного проще с file.readlines ([sizehint])

методы файла python

edit: SilentGhost прав, но это должно быть лучше, чем:

s = "" 
for i in xrange(100): 
   s += file.next()

Answer 8

Я в несколько похожей ситуации. Не ясно, знаете ли вы размер куска в байтах; Обычно я этого не делаю, но количество требуемых записей (строк) известно:

def get_line():
     with open('4gb_file') as file:
         for i in file:
             yield i

lines_required = 100
gen = get_line()
chunk = [i for i, j in zip(gen, range(lines_required))]

Обновление : Спасибо, носкло. Вот что я имел ввиду. Он почти работает, за исключением того, что он теряет грань между блоками.

chunk = [next(gen) for i in range(lines_required)]

Делает трюк без потери каких-либо строк, но выглядит не очень хорошо.

Answer 9

Вы можете использовать следующий код.

file_obj = open('big_file') 

open () возвращает объект файла

затем используйте os.stat для получения размера

file_size = os.stat('big_file').st_size

for i in range( file_size/1024):
    print file_obj.read(1024)

Answer 10

Для обработки построчно это элегантное решение:

  def stream_lines(file_name):
    file = open(file_name)
    while True:
      line = file.readline()
      if not line:
        file.close()
        break
      yield line

Пока нет пустых строк.