У меня достаточно опыта в этом. Раньше я использовал Curl, но это не интересно. В частности, много раз сайты обмениваются токенами XSRF, передают скрытые переменные или устанавливают все виды файлов cookie. Отслеживать все это с помощью Curl становится сложно. По крайней мере для меня.
Затем я исследовал Selenium, и мне это нравится. Есть 2 вещи - 1) установить Selenium IDE (работает только в Firefox). 2) Установите Selenium RC Server
После запуска Selenium IDE перейдите на сайт, который вы пытаетесь автоматизировать, и начните записывать события, которые вы делаете на сайте. Думайте об этом как о записи макроса в браузере. После этого вы получите код для вывода на нужный язык.
Точно так же вы знаете, что Browsermob использует Selenium для нагрузочного тестирования и для автоматизации задач в браузере.
Я загрузил ppt, который сделал некоторое время назад. Это должно сэкономить вам много времени- http://www.4shared.com/get/tlwT3qb_/SeleniumInstructions.html
В приведенной выше ссылке выберите вариант обычной загрузки.