Управление браузером из Python

Question

Я ищу способ управления браузером из Python, то есть заполнить поля формы и отправить их, возможно, вызвать функции JS.Я немного осмотрелся, но насколько я мог видеть, PyWebKitGtk позволяет показывать браузер только как элемент графического интерфейса, а не как интерфейс с ним.

Есть ли способ сделать это легко?Я написал свою программную логику на Python и не хотел бы переносить ее на JS.Кроме того, даже если бы я использовал чистые JS "букмарклеты", те не могли бы читать / писать в мою локальную файловую систему, не так ли?

Кроме того, часть содержимого на странице генерируетсяиспользуя AJAX, поэтому я ищу решение, где JavaScript работает в обычном режиме.

PS Чтобы подавить ваши подозрения, я не пытаюсь автоматически заполнять формы создания учетной записи на форуме или что-то подобное спам, хотя задача технически аналогична.Мне нужно сканировать / очищать сайты для моего исследовательского проекта.

РЕДАКТИРОВАТЬ: IEC выглядело многообещающе, но я работаю на Mac.

Answer 1

Вы можете попробовать что-то вроде Selenium , которое является приложением для браузерных скриптов на различных языках, включая Python - оно предназначено для кросс-браузерного тестирования, но может делать то, что вы хотите.

Answer 2

Вы можете реализовать браузер Webkit (на Python):

import sys
from PyQt4.QtCore import *
from PyQt4.QtGui import *
from PyQt4.QtWebKit import *
app = QApplication(sys.argv)
web = QWebView()
web.load(QUrl("http://google.com"))
web.show()
sys.exit(app.exec_())

Или использовать Crowbar , который предоставит вам интерфейс API для xulrunner (Firefox).

Answer 3

Почему бы просто не использовать Python для имитации браузера, парсинга HTML и построения соответствующих HTTP-запросов по необходимости?

Быстрый Google дает следующее:

• http://www.packtpub.com/article/web-scraping-with-python
• помощь в просмотре / симуляции просмотра
• http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/
• http://code.activestate.com/recipes/572202-web-browser-emulator/