Файл, скопированный с URL, усекается - PullRequest
0 голосов
/ 31 января 2019

У меня проблема с копированием файла.Мой код:

$file = "https://www.ilportaleofferte.it/portaleOfferte/resources/opendata/csv/offerteML/2019_1/PO_Offerte_G_MLIBERO_20190130.xml";

$newfile = $_SERVER['DOCUMENT_ROOT'] . '/input/PO_Offerte_G_MLIBERO_20190130.xml';

if(copy($file, $newfile)) {
    echo "salvato<br>";
} else {
    echo "ERROR inport file PO_Offerte_".$data.".".$ext."<br>";
    die;
}

copy() дают значение true, файл создан, но некоторые строки в конце файла отсутствуют ... файл имеет размер 3,6 МБ и 0,3 приконец файла отсутствует ...

Если я загружаю файл вручную, все в порядке, поэтому источник полон ...

У меня фактически такая же проблема, если я получаю файлсодержимое с file_get_contents() и я пытаюсь сохранить его в файл, используя функцию записи файла ...

Я не думаю, что upload_max_filesize и post_max_size на самом деле участвуют в copy() но они установлены на 20 МБ

любой совет?

спасибо

Ответы [ 8 ]

0 голосов
/ 13 февраля 2019

Поскольку URL-адрес включен по протоколу SSL, обычно требуется упаковывать и отправлять дополнительную информацию с запросом - для функции copy существует аргумент context.context позволяет вам указать метод, протокол и многое другое для поддержки запроса.

$url='https://www.ilportaleofferte.it/portaleOfferte/resources/opendata/csv/offerteML/2019_1/PO_Offerte_G_MLIBERO_20190130.xml';

/* download a copy from: https://curl.haxx.se/ca/cacert.pem */
$cacert=__DIR__ . DIRECTORY_SEPARATOR . 'cacert.pem';
/* define where files are to be stored */
$dir='c:/temp/downloads/';

Использование функции stream_context_create() для создания контекста для запроса и copy для фактического выполнения запроса.

$filepath=$dir . basename( $url );

$args = array(
    'http'  =>  array( 'method' => 'GET', 'protocol_version' => '1.1' ),
    'ssl'   =>  array( 'verify_peer' => true, 'verify_peer_name' => true, 'allow_self_signed' => false, 'cafile' => $cacert )
);
$ctxt = stream_context_create( $args );
$status = copy( $url, $filepath, $ctxt );

if( $status && file_exists( $filepath ) ){
    printf( 
        'The file "%s" downloaded successfully. %sMb written to disk.',
        $filepath,
        round( filesize( $filepath ) / pow( 1024, 2 ),2 )
    );
}

Другой, и, возможно, лучший вариант, это curl:

function downloadfile( $url=false, $dir=false, $cacert=false ){
    if( $url && $dir ){

        /* define the save path */
        $filepath = $dir . basename( $url );

        /* time how long the download takes */
        $start=time();

        /* open a file pointer for use by curl */
        $fp = fopen( $filepath, 'w+' );

        /* create the curl request - write file directly */
        $ch = curl_init( $url );
        curl_setopt($ch, CURLOPT_HEADER, 0 );
        curl_setopt($ch, CURLOPT_TIMEOUT, 10 );
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true );
        curl_setopt($ch, CURLOPT_BINARYTRANSFER, true );
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true );
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36' );
        if( parse_url( $url, PHP_URL_SCHEME )=='https' ){
            curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, true );
            curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 2 );
            curl_setopt($ch, CURLOPT_CAINFO, $cacert );
        }
        curl_setopt($ch, CURLOPT_ENCODING, '' );
        curl_setopt($ch, CURLOPT_FILE, $fp );# write to file

        /* the response */
        $obj=(object)array(
            'response'  =>  curl_exec($ch),
            'info'      =>  (object)curl_getinfo($ch),
            'error'     =>  curl_error($ch),
            'filepath'  =>  $filepath
        );

        /* tidy up */
        curl_close($ch);
        fclose($fp);

        /* calculate time operation took */
        $obj->duration=round( time() - $start, 2 );

        return $obj;
    }
}



/* run the function */
$obj = downloadfile( $url, $dir, $cacert );

if( $obj->info->http_code==200 ){
    printf( 
        'The file "%s" downloaded successfully in approximately %ss. %sMb written to disk.',
        $obj->filepath,
        $obj->duration,
        round( filesize( $obj->filepath ) / pow( 1024, 2 ),2 )
    );
} else {
    printf(
        'Error: A problem was encountered downloading %s. The response code is: %d and error message: "%s"',
        $url,
        $obj->info->http_code,
        $obj->error
    );
}

Приведенные выше два метода, а также загрузка вручную привели к получению файла 3.19Mb

0 голосов
/ 10 февраля 2019

Я смог использовать file_get_contents и форсировать протокол HTTP / 1.1 :

$context = stream_context_create([
    'http' => [
      'protocol_version' => '1.1',
      'header' => 'Connection: Close'
    ],
]);
$content = file_get_contents('https://www.ilportaleofferte.it/portaleOfferte/resources/opendata/csv/offerteML/2019_1/PO_Offerte_G_MLIBERO_20190130.xml', false, $context);
file_put_contents('document.xml', $content);

Сказав это, я бы порекомендовал использовать CURL:

$ch = curl_init();
$curlopts = array();
$curlopts[CURLOPT_RETURNTRANSFER] = true;
$curlopts[CURLOPT_VERBOSE] = true;
$curlopts[CURLOPT_URL] = 'https://www.ilportaleofferte.it/portaleOfferte/resources/opendata/csv/offerteML/2019_1/PO_Offerte_G_MLIBERO_20190130.xml';
curl_setopt_array($ch, $curlopts);
$content = curl_exec($ch);
file_put_contents('document.xml', $content);
curl_close($ch);
0 голосов
/ 12 февраля 2019

Проблема из http 1.0

Это должно это исправить:

$sc = stream_context_create(['http' => ['protocol_version' => '1.1']]);

copy($file, $newfile, $sc);
0 голосов
/ 09 февраля 2019

Похоже на memory_limit.Попробуйте установить более высокое значение в начале вашего скрипта.

ini_set('memory_limit' '1024m')

0 голосов
/ 08 февраля 2019

http://php.net/manual/en/function.copy.php

Я вижу это: exec ("xcopy $ source $ destination");

Попробуйте это!

0 голосов
/ 07 февраля 2019

Пожалуйста, попробуйте эту функцию тайм-аута подключения, надеюсь, эта вещь будет работать для вас.

$url=curl_init("https://www.ilportaleofferte.it/portaleOfferte/resources/opendata/csv/offerteML/2019_1/PO_Offerte_G_MLIBERO_20190130.xml"); 
$set_timeout=400; 
$newfile=$_SERVER['DOCUMENT_ROOT'] . '/input/PO_Offerte_G_MLIBERO_20190130.xml';
curl_setopt($url, CURLOPT_CONNECTTIMEOUT, $set_timeout); 
$content = curl_exec($url);//execute request
if($content)
{
    $copied_file = fopen($newfile, "w"); 
    if(fwrite($copied_file , $content)){
        echo "Done successfully";
    }
    else{
        echo "unable to write file";
        fclose($copied_file ); 
    }
}
else {
    echo "Something Went wrong";
}
0 голосов
/ 07 февраля 2019

У вас проблема, потому что вы используете протокол HTTPS.Функции copy() и file_get_content() имеют некоторые проблемы с работой по HTTPS.Более надежный способ загрузки удаленного файла - использование CURL.Например:

$url = 'https://www.ilportaleofferte.it/portaleOfferte/resources/opendata/csv/offerteML/2019_1/PO_Offerte_G_MLIBERO_20190130.xml';    
$filePath = $_SERVER['DOCUMENT_ROOT'] . '/input/PO_Offerte_G_MLIBERO_20190130.xml';

$ch = curl_init($url);
$fp = fopen($filePath, 'wb');
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_exec($ch);
curl_close($ch);
fclose($fp);
0 голосов
/ 31 января 2019

Взгляните на свой php.ini.Возможно, вам придется увеличить эти два параметра

upload_max_filesize и post_max_size

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...