Плохой запрос.Подключение к сайтам через curl на хосте и системе

Question

У меня есть этот cURL код в php.

curl_setopt($ch, CURLOPT_URL, trim("http://stackoverflow.com/questions/tagged/java")); 
curl_setopt($ch, CURLOPT_PORT, 80); //ignore explicit setting of port 80
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); 
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($ch, CURLOPT_ENCODING, "");
curl_setopt($ch, CURLOPT_HTTPHEADER, $v);
curl_setopt($ch, CURLOPT_VERBOSE, true);

Содержимое HTTPHEADER:

Proxy-Connection: Close
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1017.2 Safari/535.19
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
Cookie: __qca=blabla
Connection: Close

Каждый из них - отдельные элементы в массиве $v,

Когда я загружаю файл на хост и запускаю код, я получаю:

400 Плохой запрос

Ваш браузеротправил неверный запрос.

Но когда я запускаю его в моей системе с помощью командной строки PHP, я получаю

< HTTP/1.1 200 OK
< Vary: Accept-Encoding
< Cache-Control: private
< Content-Type: text/html; charset=utf-8
< Content-Encoding: gzip
< Date: Sat, 03 Mar 2012 21:50:17 GMT
< Connection: close
< Set-Cookie: buncha cokkies; path=/; HttpOnly
< Content-Length: 22151
< 
* Closing connection #0

.

Это происходит не только на стеке, это также происходит на 4shared, но работает на Google и др.

Спасибо за любую помощь.

Answer 1

Это скорее комментарий, чем ответ: из вашего вопроса неясно, что конкретно вызывает ошибку 400, и что конкретно означает ее, или, более конкретно, ее источник.

Это вывод вашего сервера? Это какая-то обратная связь (ответная реакция), которую вы выводите с помощью своего скрипта?

Чтобы улучшить отладку, я предложил немного другую форму конфигурации, которая может быть вам интересна при использовании расширения curl. Есть хорошая функция под названием curl_setopt_array, которая позволяет вам установить несколько параметров одновременно. Он вернет false, если один из параметров не удастся. Это позволяет вам полностью настроить ваш запрос. Таким образом, вы можете легче внедрить и заменить его со второй (отладочной) конфигурацией:

$curlDefault = array(
    CURLOPT_PORT => 80, //ignore explicit setting of port 80
    CURLOPT_RETURNTRANSFER => TRUE,
    CURLOPT_FOLLOWLOCATION => TRUE,
    CURLOPT_ENCODING => '',
    CURLOPT_HTTPHEADER => array(
        'Proxy-Connection: Close',
        'User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1017.2 Safari/535.19',
        'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Encoding: gzip,deflate,sdch',
        'Accept-Language: en-US,en;q=0.8',
        'Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3',
        'Cookie: __qca=blabla',
        'Connection: Close',
    ),
    CURLOPT_VERBOSE => TRUE, // TRUE to output verbose information. Writes output to STDERR, or the file specified using CURLOPT_STDERR.
);

$url = "http://stackoverflow.com/questions/tagged/java";
$handle = curl_init($url);
curl_setopt_array($handle, $curlDefault);
$html = curl_exec($handle);
curl_close($handle);

Это может помочь вам улучшить код и отладить вещи.

Кроме того, вы используете опцию CURLOPT_VERBOSE. Это поместит подробную информацию в STDERR - так что вы больше не сможете ее отслеживать. Вместо этого вы также можете добавить его к выводу, чтобы лучше видеть, что происходит:

<code>...
    CURLOPT_VERBOSE => TRUE, // TRUE to output verbose information. Writes output to STDERR, or the file specified using CURLOPT_STDERR.
    CURLOPT_STDERR => $verbose = fopen('php://temp', 'rw+'),
);

$url = "http://stackoverflow.com/questions/tagged/java";
$handle = curl_init($url);
curl_setopt_array($handle, $curlDefault);
$html = curl_exec($handle);
$urlEndpoint = curl_getinfo($handle, CURLINFO_EFFECTIVE_URL);
echo "Verbose information:\n<pre>", !rewind($verbose), htmlspecialchars(stream_get_contents($verbose)), "

\ п "; curl_close ($ ручка);

Что дает вид следующего вывода:

Verbose information:
* About to connect() to stackoverflow.com port 80 (#0)
*   Trying 64.34.119.12...
* connected
* Connected to stackoverflow.com (64.34.119.12) port 80 (#0)
> GET /questions/tagged/java HTTP/1.1
Host: stackoverflow.com
Proxy-Connection: Close
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1017.2 Safari/535.19
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: en-US,en;q=0.8
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.3
Cookie: __qca=blabla
Connection: Close

< HTTP/1.1 200 OK
< Cache-Control: private
< Content-Type: text/html; charset=utf-8
< Content-Encoding: gzip
< Vary: Accept-Encoding
< Date: Mon, 05 Mar 2012 17:33:11 GMT
< Connection: close
< Content-Length: 10537
< 
* Closing connection #0

Который должен предоставить вам информацию, необходимую для отслеживания вещей, если они связаны с запросом / завитком. Затем вы можете легко изменить параметры и посмотреть, если это имеет значение. Также сравните версию curl, которую вы установили локально, с версией на сервере. Чтобы получить его, используйте curl_version:

$curlVersion = curl_version();
echo $curlVersion['version']; // e.g. 7.24.0

Надеюсь, это поможет вам отследить ситуацию.

Answer 2

в соответствии с http://php.net/manual/en/function.curl-setopt.php попробуйте установить CURLOPT_ENCODING на "gzip"

также, я бы попытался избежать как можно большего количества строк заголовка, например, используйте CURLOPT_COOKIE вместо Cookie: __qca__=blabla или CURLOPT_USERAGENT

РЕДАКТИРОВАТЬ: кажется, что вы не используете массив (ключ => значение) для CURLOPT_HTTPHEADER, не так ли?в этом случае используйте массив, а с другими вещами, как я написал, все будет в порядке.(как это сделать, прочитайте инструкцию: P)

надеюсь, это поможет.