чтение большого файла с удаленного сервера с использованием сценария php

Question

Я пытаюсь читать большие файлы, скажем, файл иллюстратора или файл фотошопа, используя cron job в моей системе. Размер файла варьируется от 20 мб - 300 мб

Я использую какую-то функцию, но она прерывается во время чтения. Поэтому я хотел бы получить свежее мнение.

Сумма этих функций

• file_get_contents
• ReadFile
• локон

, который наиболее эффективен с точки зрения

• согласованность (не должна нарушаться при чтении файла)
• Скорость
• ресурс использует

если задание выполняется более двух раз, влияет ли это на производительность всего сервера.

Пожалуйста, поделитесь кодом наилучшей практики.

Заранее спасибо

Answer 1

Используйте cURL. Файловые функции устарели в пользу cURL для открытия удаленных файлов. Это не только быстрее , но и более надежно ¹ (у вас реже случаются тайм-ауты).

Если ваш сценарий превысил время ожидания или не хватает памяти, вам нужно увеличить время выполнения и ограничения памяти (max_execution_time и memory_limit).

Другие примечания:

• readfile() читает файл и печатает его в выходной буфер; это не то же самое, что file_get_contents().
• Если вы скомпилируете curl с помощью --with-curlwrappers, тогда, когда вы выполните file_get_contents(), он будет использовать cURL вместо fopen() функций.

¹ Цитирование необходимо.

Answer 2

DirectIO - это низкоуровневое расширение, которое обходит ОС и идет прямо на жесткий диск, в результате оно, вероятно, наиболее эффективно.

http://php.net/manual/en/ref.dio.php

Обратите внимание, что с PHP 5.1.0 он больше не связан с PHP. Кроме того, если ваш скрипт ломается в середине операции, проверьте max_execution_time и max_memory.

Answer 3

вам нужно разделить две задачи, если файлы такие большие.сначала вы скачиваете файл с помощью wget, а когда получаете файл, вы обрабатываете его с помощью php.таким образом, у вас меньше шансов столкнуться с проблемами тайм-аута.

, если вы не знаете, какой файл загрузить, потому что это переменная из php, вы можете записать в файл имя требуемого файла.как первый шаг вашей работы

, затем передайте его в wget через --input-file = file как второй шаг

и затем обработайте его как третий и последний шаг с вашей php-программой