Python - веб-очистка страниц с использованием Comet и HTTP-потоков

Question

Мне нужно извлечь данные из fxstreet Я извлек HTML-код с помощью firebug, и кажется, что веб-страница использует потоковую передачу Comet и HTTP.

Я хотел бы заполнитьсловарь каждую секунду с данными без необходимости обновления страницы.Я сделал это с помощью urllib.urlopen, но я обязан делать запросы каждую секунду.

Кто-то знает правильный способ извлечения данных из потоков Comet & http?спасибо

Answer 1

Возможно, вы захотите использовать gevent , Tornado или Twisted , чтобы написать асинхронный HTTP-клиент для использования вашей службы.Было довольно много проектов, созданных для работы с API Streaming API, на которые вы могли бы рассчитывать:

• https://github.com/fiorix/twisted-twitter-stream - twisted
• https://github.com/dustin/twitty-twister - twisted
• https://github.com/atl/twitstream - asyncore, pycurl или tornado
• https://github.com/godavemon/TwitTornado - tornado
• https://github.com/thruflo/close.consumer - gevent

Answer 2

Просто извлеките данные и повторите запрос в тот же момент, а не через 1 секунду - Comet просто означает, что сервер не будет отвечать, пока не будут доступны новые данные.

Answer 3

Я не эксперт в этом вопросе, но я знаю, что Comet работает так, что отвечает на запросы, только когда время приближается к пределу или когда на сервере произошли некоторые изменения .Таким образом, вы можете делать запросы Comet и предполагать, что ничего не изменилось, если запрос Comet не возвратил что-то .

Так что, в основном, вы можете делать запросы Comet и хранить данные, возвращаемые Cometзапрос в таблице .По другому запросу (который может отправляться каждую секунду) проверяет таблицу на наличие новых добавленных данных и возвращает их, если найден.

Это то, что вы ожидали?