Как остановить, убить, остановить или закрыть запрос PycURL на примере потока, приведенного с помощью Twitter Stream - PullRequest
Новая
       17

Как остановить, убить, остановить или закрыть запрос PycURL на примере потока, приведенного с помощью Twitter Stream

5 голосов
/ 17 мая 2011

Я в настоящее время отбираю поток Twitter API (http://stream.twitter.com/1/statuses/sample.json),, поэтому я постоянно получаю данные. Я хочу прекратить оборачивать поток, как только я получу из него X объектов (в примере я даю 10 как произвольное число).

Вы можете увидеть, как я пытался закрыть соединение, в коде ниже. Код ниже curling.perform () никогда не выполняется из-за того, что это непрерывный поток данных. Поэтому я попытался закрыть поток в body_callback, однако, поскольку в настоящее время выполняется execute (), я не могу вызвать close ().

Любая помощь будет оценена.

Код: 

# Imports
import pycurl # Used for doing cURL request
import base64 # Used to encode username and API Key
import json # Used to break down the json objects

# Settings to access stream and API
userName = 'twitter_username' # My username
password = 'twitter_password' # My API Key
apiURL = 'http://stream.twitter.com/1/statuses/sample.json' # the twitter api
tweets = [] # An array of Tweets

# Methods to do with the tweets array
def how_many_tweets():
    print 'Collected: ',len(tweets)
    return len(tweets)

class Tweet:
    def __init__(self):
        self.raw = ''
        self.id = ''
        self.content = ''

    def decode_json(self):
        return True

    def set_id(self):
        return True

    def set_content(self):
        return True

    def set_raw(self, data):
        self.raw = data

# Class to print out the stream as it comes from the API
class Stream:
    def __init__(self):
        self.tweetBeingRead =''

    def body_callback(self, buf):
        # This gets whole Tweets, and adds them to an array called tweets
        if(buf.startswith('{"in_reply_to_status_id_str"')): # This is the start of a tweet
            # Added Tweet to Global Array Tweets
            print 'Added:' # Priniting output to console
            print self.tweetBeingRead # Printing output to console
            theTweetBeingProcessed = Tweet() # Create a new Tweet Object
            theTweetBeingProcessed.set_raw(self.tweetBeingRead) # Set its raw value to tweetBeingRead
            tweets.append(theTweetBeingProcessed) # Add it to the global array of tweets
            # Start processing a new tweet
            self.tweet = buf # Start a new tweet from scratch
        else:
            self.tweetBeingRead = self.tweetBeingRead+buf
        if(how_many_tweets()>10):
            try:
                curling.close() # This is where the problem lays. I want to close the stream
            except Exception as CurlError:
                print ' Tried closing stream: ',CurlError

# Used to initiate the cURLing of the Data Sift streams
datastream = Stream()
curling = pycurl.Curl()
curling.setopt(curling.URL, apiURL)
curling.setopt(curling.HTTPHEADER, ['Authorization: '+base64.b64encode(userName+":"+password)])
curling.setopt(curling.WRITEFUNCTION, datastream.body_callback)
curling.perform() # This is cURLing starts
print 'I cant reach here.'
curling.close() # This never gets called. :(

1 Ответ

4 голосов
/ 18 мая 2011

Вы можете прервать обратный вызов записи, вернув число, которое не соответствует сумме, переданной ему. (По умолчанию он возвращает «None» так же, как и тот же номер, который был ему передан)

Когда вы прервете, вся передача будет считаться выполненной, и ваш вызов execute () вернется правильно.

Эта передача затем возвратит ошибку, так как передача была прервана.

...