Скриптовая активность браузера - автоматическое нажатие

Question

Я занимаюсь очисткой данных с веб-страниц.Я ежедневно «кликаю» по какой-то странице и записываю содержимое страницы для дальнейшего извлечения.Конечно, есть десятки страниц и месяцев, чтобы щелкнуть, так что все автоматизировано.Обычно я использовал curl с Cookies и POST, и это работало очень хорошо.Но у меня теперь есть несколько «умных» страниц, которые используют некоторые JavaScript, сессии, вуду, что угодно, и не позволяют просто быть очищенными.Мне действительно нужно нажать несколько кнопок, чтобы получить то, что я хочу.

Итак, я хочу автоматизировать эти действия.Какое решение (язык, плагины, ...) вы бы порекомендовали?Я знаю iMacros ;Есть ли альтернативное, сопоставимое решение?Или это один-единственный?(Я работаю под Linux, кстати)

Спасибо за все советы

Редактировать

Связанные:

• iMacros
• Watir

Answer 1

Я бы порекомендовал вам использовать Watir с ruby. Это действительно простой в использовании, кросс-платформенный и кросс-браузерный. И, конечно, у него действительно хорошая документация.

ruby ​​можно скачать здесь: http://www.ruby -lang.org или в вашем случае я бы предложил apt-get.

И Watir здесь: http://watir.com/, но его проще установить с помощью

 gem install watir

Не забудьте установить и обновить rubygems.