Ошибки скручивания при извлечении из Twitter

Question

Я пытаюсь получить некоторые данные из твиттера через PHP. Я использую плагин tmhOAuth, который можно найти здесь. https://github.com/themattharris/tmhOAuth/

Я написал свой код на основе файла примера «streaming.php», который также можно найти на приведенной выше странице github. Вот мой код:

    require 'tmhOAuth.php';

    $tmhOAuth = new tmhOAuth(array(
            'consumer_key' => 'xxxhiddenxxx',
            'consumer_secret' => 'xxxhiddenxxx',
            'user_token' => 'xxxhiddenxxx',
            'user_secret' => 'xxxhiddenxxx'
    ));

    $method = 'http://stream.twitter.com/1/statuses/filter.json';

    $params = array(
            'follow' => '1307392917',
            'count'  => '5'
    );
    $tmhOAuth->streaming_request('POST', $method, $params, 'my_streaming_callback');
    $tmhOAuth->pr($tmhOAuth);

Это не распечатывало никаких данных из твиттера, которые я хотел извлечь, а только показывало отладочную информацию, которую записывает команда pr ().

Пытаясь отладить, почему я не получил никаких данных, я вошел и добавил строку в tmhOAuth.php, чтобы я мог видеть, какую ошибку выдает cURL. Я сделал это с помощью

 echo curl_error($C);

Ошибка, которую выдал cURL, была:

передача закрыта с оставшимися незавершенными данными чтения

Я провел некоторое исследование этой ошибки, но не могу найти ничего, что могло бы помочь. Было несколько вещей, которые я нашел относительно длины контента, но когда я копался в коде, я увидел, что автор tmhOAuth уже обратился к этим проблемам (и комментирование его исправлений не помогло).

Любая помощь?

Обновление 1 Вот информация об ответе, собранная с помощью curl_getinfo:

//Removed - an updated version is below

Обновление 2 Благодаря комментариям ниже я понял, что твиттер отправляет мне данные с кодировкой передачи: chunked. Я поместил эту строку в tmhOAuth.php, чтобы вытеснить фрагментированные данные:

curl_setopt($c, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);

Это сработало, несколько. Я больше не получаю никаких ошибок cURL, но мой обратный вызов WRITEFUNCTION по-прежнему никогда не вызывается - поэтому я никогда не получаю никаких фактических данных. Вот вывод моего объекта cURL снова:

    [response] => Array
        (
            [content-length] => 0
            [headers] => Array
                (
                    [content_type] => text/html; charset=iso-8859-1
                    [server] => Jetty(6.1.25)
                )

            [code] => 416
            [response] => 1
            [info] => Array
                (
                    [url] => http://stream.twitter.com/1/statuses/filter.json
                    [content_type] => text/html; charset=iso-8859-1
                    [http_code] => 416
                    [header_size] => 116
                    [request_size] => 532
                    [filetime] => -1
                    [ssl_verify_result] => 0
                    [redirect_count] => 0
                    [total_time] => 0.118553
                    [namelookup_time] => 0.043927
                    [connect_time] => 0.070477
                    [pretransfer_time] => 0.07049
                    [size_upload] => 25
                    [size_download] => 0
                    [speed_download] => 0
                    [speed_upload] => 210
                    [download_content_length] => -1
                    [upload_content_length] => -1
                    [starttransfer_time] => 0.118384
                    [redirect_time] => 0
                    [request_header] => POST /1/statuses/filter.json HTTP/1.0
User-Agent: themattharris' HTTP Client
Host: stream.twitter.com
Accept: */*
Authorization: OAuth oauth_consumer_key="xxxhiddenxxx", oauth_nonce="xxxhidden", oauth_signature="xxxhidden", oauth_signature_method="HMAC-SHA1", oauth_timestamp="1308226585", oauth_token="xxxhiddenxxx", oauth_version="1.0"
Content-Length: 25
Content-Type: application/x-www-form-urlencoded


                )

        )

)

Обновление 3: Пара вещей, которые я до сих пор выяснил ... Я удалил параметры 'count' из моего запроса POST, и теперь страница, кажется, работает вечно. Я подумал, что это означает, что он просто загружает тонны и тонны данных, поэтому я поставил перерыв в функции обратного вызова потоковой передачи, настроенной так, чтобы она убивала страницу после 5 циклов.

Я сделал это и оставил на некоторое время. Примерно через 5 минут страница закончила загрузку и показала, какие данные я собрал. Похоже, я не получал данных каждый раз, когда он проходил - только символ конца строки. Таким образом, на каждую часть данных, которую я загружаю, уходит минута, и даже тогда единственными данными, которые отображаются, является символ конца строки. Weird? Это проблема с твиттером или проблема cURL?

Answer 1

Примерно через 5 минут загрузка страницы завершилась

Запускаете ли вы streaming.php в браузере? Если это так, вы должны запустить его через ssl, иначе это не сработает. У меня есть серверная задача chron, указывающая на файл, но вы можете сделать это также с помощью терминала:

 php /path/to/here/streaming.php

Для просмотра данных, которые вы получаете, вы можете сохранить их в базе данных или журнале:

function my_streaming_callback($data, $length, $metrics) {  
    $ddf = fopen('/twitter/mydata.log','a');
    fwrite($ddf,$data);
    fclose($ddf);
}

Answer 2

Я попробовал с API токена, но ничего хорошего не получилось, так что вот скрипт, который я нашел здесь :

<?php
/**
 * API Streaming for Twitter.
 *
 * @author  Loïc Gerbaud <gerbaudloic@gmail.com>
 * @version 0.1 "itjustworks"
 */

define('TWITTER_LOGIN','login'); //login twitter
define('TWITTER_PASSWORD','myp4ssw0rd');    //password twitter
$sTrackingList = 504443371;//read my account but could be keywords

// ?
while(1){
 echo 'Connexion ';
 read_the_stream($sTrackingList);
 echo 'Deconnexion ';
}

/**read the stream
 *
 */
function read_the_stream($sTrackingList){
 $ch = curl_init();
 curl_setopt($ch,CURLOPT_URL,'https://stream.twitter.com/1/statuses/filter.json');
 curl_setopt($ch,CURLOPT_USERPWD,TWITTER_LOGIN.':'.TWITTER_PASSWORD);//Le couple login:password
 curl_setopt($ch, CURLOPT_NOBODY, 0);
 curl_setopt($ch, CURLOPT_HEADER, 0);
 curl_setopt($ch, CURLOPT_USERAGENT, '');
 curl_setopt($ch, CURLOPT_FOLLOWLOCATION,1);
 curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
 curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-Twitter-Client: ItsMe','X-Twitter-Client-Version: 0.1','X-Twitter-Client-URL: http://blog.loicg.net/'));
 curl_setopt($ch, CURLOPT_POST, true);
 curl_setopt($ch, CURLOPT_POSTFIELDS,"follow=".$sTrackingList);//read the doc for your request
 curl_setopt($ch, CURLOPT_WRITEFUNCTION, 'write_callback');//function callback

 curl_exec($ch);
 curl_close($ch);
}

/** a demo with a writting log or put in MySQL
 */


 function write_callback($ch, $data) {
 if(strlen($data)>2){
 $oData = json_decode($data);
 if(isset($oData->text)){
 file_put_contents('log',$oData->text."\n",FILE_APPEND);
 }
 }
 return strlen($data);
} 
?>

запустите этот скрипт в своем браузере (вы можете закрыть его после), обновите свою учетную запись в Twitter и проверьте .log