как обрабатывать большие текстовые файлы? - PullRequest
2 голосов
/ 18 октября 2010

У меня есть файл, который содержит около 10 миллионов строк и размер около 400 МБ, моя система просто не в состоянии справиться с этим. когда я пытаюсь открыть файл с помощью gedit, он просто застревает. Есть ли способ обрабатывать такие большие файлы данных.

Ответы [ 3 ]

2 голосов
/ 19 июня 2013

Отличная утилита для работы с большими файлами - это Google Refine Tool.

Вы можете найти https://code.google.com/p/google-refine/wiki/FaqAllocateMoreMemory [сведения о распределении памяти]

1 голос
/ 18 октября 2010

Отличная утилита для Windows - Просмотр большого текста

Мне удалось открыть файл размером более 4 ГБ.

0 голосов
/ 18 октября 2010

Разделите их, используя утилиты gnu (cygwin on Windows), а также утилиты tail или cut. Затем поработайте над частями файла.

...