Есть ли лучший способ получить доступ к Twitter потокового API через Python?

Question

Мне нужно получить исторические данные из твиттера для заданного набора ключевых слов. API поиска в Твиттере возвращает твиты, возраст которых не превышает 9 дней, так что это не сработает. В настоящее время я использую Tweepy Library (http://code.google.com/p/tweepy/) для вызова Streaming API, и она работает нормально, за исключением того, что она слишком медленная. Например, когда я запускаю поиск по «$ GOOG», иногда это занимает больше часа между два результата. Определенно есть твиты, содержащие это ключевое слово, но оно не возвращает результат достаточно быстро.

В чем может быть проблема? Является ли потоковое API медленным или есть какая-то проблема в моем методе доступа к нему? Есть ли лучший способ получить эти данные бесплатно?

Answer 1

Как далеко вам нужно?Чтобы получить исторические данные, вы можете захотеть сохранить поток на неопределенное время (потоковый API позволяет это) и сохранить поток локально, а затем извлечь исторические данные из вашей базы данных.

Я также использую Tweepy для живого потока /Фильтрация и это хорошо работает.Задержка обычно составляет <1 с, и Tweepy может обрабатывать потоки большого объема. </p>

Answer 2

потоковый API слишком быстро, вы получаете сообщение, как только вы публикуете его, мы используем twitter4j.Но стример передает только текущие сообщения, поэтому, если вы не прослушиваете стример в момент отправки твита, сообщение теряется.