Какие-нибудь Python альтернативы Selenium для программного входа на сайты, которые требуют JavaScript для входа?

Question

Я пишу небольшое частное приложение для автоматического входа в интернет-банкинг каждый день и загрузки последних транзакций. Я пишу это как приложение Django, поэтому я работаю на Python.

Кажется, что мой интернет-банкинг не работает без JavaScript - я думаю, что он использует JavaScript для назначения какого-либо идентификатора сеанса. Извлечение страницы входа с помощью httplib дает мне страницу с информацией о том, что JavaScript необходим.

Итак, я сейчас ищу библиотеки, которые извлекают веб-страницы, и выполняют на них JavaScript. Довольно много безголовых браузеров.

Я сейчас тереблю Селен . Я думаю, что он справится с работой, хотя и предназначен для тестирования веб-приложений, поэтому мне было интересно, есть ли что-нибудь с аналогичными возможностями, предназначенное для более общих целей, чем тестирование.

Есть ли в Python альтернативы Selenium для такого рода вещей?

Answer 1

Вы можете использовать Pywebkitgtk . Здесь есть хороший учебник .

Кроме того, вы можете использовать Beautiful Soup для получения содержимого страницы и что-то вроде python-spidermonkey для запуска сценариев.

Answer 2

, так как вы используете селен, я думаю, что вы уже установили Firefox. если это так, получите расширение, например, firebug или tamper data, и посмотрите, какие http-запросы будет выполнять код javascript при входе в систему.

если у вас есть URL и необходимые параметры, вы можете легко запрограммировать клиента Python с помощью httplib или urllib2.

в firebug вы найдете запрошенные URL-адреса в разделе "NET". данные подделки будут информативными. ; -)

Answer 3

Вы также можете использовать Spynner , это позволяет программно просматривать веб-страницы.

Answer 4

Я думаю, что подходящее решение для вашей проблемы - Twill : простой язык сценариев для просмотра веб-страниц.

Другой вариант для проверки: Windmill (разновидность Selenium, но все написано на Python).

Answer 5

Похоже, QtWebKit - еще один вариант.

Answer 6

Поскольку BeautifulSoup больше не разрабатывается активно, я бы порекомендовал lxml , поскольку он делает все, что может делать BeautifulSoup, и многое другое.