Python: Огромное чтение файлов с использованием linecache против обычного доступа к файлам open ()

Question

Я нахожусь в ситуации, когда несколько потоков читают один и тот же огромный файл с несколькими указателями на один и тот же файл.Файл будет иметь по крайней мере 1 миллион строк.Длина каждой строки варьируется от 500 до 1500 символов.Там не будет «записи» операций над файлом.Каждый поток начнет читать один и тот же файл из разных строк.Какой эффективный способ ..?Использование кэша строки Python или обычного readline (), или есть какой-нибудь другой эффективный способ?

Answer 1

Посмотрите на модуль mmap: http://docs.python.org/library/mmap.html

Это позволит вам использовать файл в качестве массива, тогда как ОС обрабатывает фактическое чтение и буферизацию.