Вход на сайт через прокси

Question

Мне нужно разработать систему, которая бы регулярно заходила на веб-сайт через удаленный сервер (я считаю, что «прокси») и собирала данные с этого веб-сайта.

Каковы основные требования для такой системы в отношении серверов и программного обеспечения? Нужно ли мне больше, чем обычный план виртуального хостинга?

Я ищу программное решение на основе PHP.

Редактировать: собранные данные будут использоваться только в статистических целях - ничего противозаконного.

Answer 1

Вы можете использовать функции PHP curl для запроса страницы.
И Curl позволяет вам установить прокси так:

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt($ch, CURLOPT_PROXY, "http://proxyaddress"); 
curl_setopt($ch, CURLOPT_PROXYPORT, 8080); 
curl_setopt($ch, CURLOPT_PROXYUSERPWD, "xxx:xxx"); 

И я полагаю, что причина отрицательных голосов в том, что вы пытаетесь украсть дизайн, но я думаю, у вас есть вполне законная причина делать то, что вы хотите!

Answer 2

Что вы пытаетесь сделать, это создать веб-сканер.Именно так поисковые системы индексируют веб-страницы, которые они ищут.Это сканирование выполняется скриптами, называемыми пауками или роботами.Это может быть легко создано с помощью Perl.Проверьте это http://www.linuxjournal.com/article/2200 для простого урока.