Соскоб Ajax с Python - PullRequest
       29

Соскоб Ajax с Python

1 голос
/ 27 февраля 2012

Я практиковал свои способности к соскобу в Python. Я получил довольно хорошо, но наткнулся на несколько сайтов, которые меня довольно озадачили. Они используют Ajax, чтобы найти близлежащие места. Есть несколько сайтов, разработанных одинаково. Одним из веб-сайтов является www.applebees.com. Даже используя firebug я не могу найти ответ.

Как Python может запрашивать местоположения через вызов ajax? Я полностью в тупике.

Страница www.applebees.com, справа есть форма для ввода почтового индекса, и она подтягивает ближайшие места к этому почтовому индексу. Однако, если я потяну источник после того, как этот почтовый индекс введен, местоположения все еще не обнаруживаются в исходном файле. Запрос / ответ полностью ajax и скрыты от источника HTML, я никогда не видел ничего подобного. Я пытаюсь найти решение сейчас.

1 Ответ

7 голосов
/ 27 февраля 2012

Программная очистка с использованием библиотеки http может быть трудной для некоторых сайтов. Если вы пытаетесь симулировать взаимодействие пользователей на тяжелом сайте JavaScript (ajax или иным образом), вы можете рассмотреть возможность управления реальным браузером с использованием чего-то вроде селена. Есть просмотр клиента Python, и вы получите некоторый доступ к странице DOM.

http://pypi.python.org/pypi/selenium

...