Автоматический просмотр сложных веб-страниц

Question

У меня есть проект, который будет включать в себя тяжелую автоматизацию сложных веб-страниц.

Я понимаю, что есть Mechanize и Beautiful Soup, но не ломайте их, когда имеете дело с большим количеством сценариев DOM и другими странными вещамиВы находите на сложных веб-страницах?

Я думаю, что я хочу, по сути, простой экземпляр WebKit, который бы позволял мне выполнять "GUI-скриптинг" или обращаться к DOM.Идеи?

Answer 1

Для тестирования / очистки я бы попробовал:

• Селен
• EnvJS
• Мельница
• Watir
• Сахи
• WebTest

Answer 2

Попробуйте Сахи с PhantomJS. Sahi - это инструмент для автоматизации браузера, а PhantomJS - это безголовый браузер Webkit. Вы можете найти инструкции по настройке здесь: http://sahi.co.in/w/sahi-headless-execution-with-phantomjs

Отказ от ответственности: мы создали продукт Sahi.

Answer 3

На какой платформе вы работаете?И какой язык вы намереваетесь использовать?

Adobe Air позволяет встраивать веб-набор в приложение Air и взаимодействовать со страницей JavaScript (существует двусторонняя связь между страницей JS и средой выполнения AIR).

В противном случае, если вы не привязаны к webkit, вы можете взять Mozilla Chromeless за спин.

Приношу свои извинения, если ничего из этого не делает то, что вам нужно, я не могу понять, что именновы пытаетесь это сделать (соскоб страницы? отправка формы?).