Каков наилучший способ программно войти на веб-сайт для проверки экрана? (Желательно на Python)

Question

Я хочу иметь возможность входить на сайт программно и периодически получать некоторую информацию с сайта. Каков лучший инструмент (ы), который сделал бы это настолько простым насколько возможно? Я бы предпочел библиотеку Python какого-то типа, потому что я хочу стать более опытным в Python, но я открыт для любых предложений.

Answer 1

Вы можете попробовать Mechanize (http://wwwsearch.sourceforge.net/mechanize/) для программного просмотра веб-страниц и обязательно использовать Beautiful Soup (http://www.crummy.com/software/BeautifulSoup/) для очистки.

Answer 2

Большинство из нас использует urllib2 , чтобы получить страницу; он может обрабатывать различные формы аутентификации и сбора файлов cookie. Затем Beautiful Soup для разбора результатов.

Answer 3

Я однажды написал скрипт на Python для автоматического входа на форумы vBulletin. Трудная часть заключалась в том, чтобы знать, как правильно сформировать запрос на вход в систему, и это то, что библиотека вам не поможет. Я нашел Live Http Headers - дополнение для Firefox - очень полезным для просмотра того, что передается между клиентом и сервером во время процесса входа в систему.

Я также согласен со всеми остальными, что Beautiful Soup довольно крутой.

Answer 4

Я рекомендую использовать twill , что упрощает процедуру входа в систему. затем используйте Beautifulsoup и т. д. как описано выше. Я никогда не пробовал механизировать, но выглядит неплохо.

Answer 5

только для очистки экрана вы можете использовать комбинацию url lib + pyqyery. https://pythonhosted.org/pyquery/