парсинг большого файла - PullRequest
       30

парсинг большого файла

3 голосов
/ 17 декабря 2011

мне нужно разобрать файлы

  • logs (5gb)
  • logs error (1gb)
  • import data data (csv) (400mb)
  • резервные копии данных (10 ГБ)

и т. Д. *

Мои первые мысли - проанализировать эти файлы в php, а затем либо удалить то, что мне не нужно, и сохранить их вмоя база данныхдля файла импорта он работает нормально, так как он маленький

, но когда я хочу проверить данные резервной копии, php завершается с ошибкой и останавливается (я получаю другую ошибку, например, ошибку памяти)

Я хотел бычтобы знать, как лучше всего анализировать и импортировать эти большие файлы, желательно, чтобы у меня был 1 скрипт, управляющий всеми этими файлами.мой сценарий php может справиться с этим?или я должен сделать что-то еще?

1 Ответ

4 голосов
/ 17 декабря 2011

Фред довольно полезен http://php.net/manual/en/function.fread.php

он будет анализировать построчно, так что в памяти одновременно может быть только одна строка или максимум X байт.

...