Как использовать прокси для скачивания файлов

Question

Я загружаю веб-сайт с кучей бесплатного контента, лицензированного по лицензии GPL, однако мой компьютер превышает дневной лимит загрузки в 20 файлов (из примерно 10000!)

Существует ли прокси-служба, которую я могу использовать (через PHP) для продолжения доступа к такому контенту?

Answer 1

Вы не должны пытаться обойти это ограничение. Это сделано для того, чтобы люди, подобные вам, не перегружали свое соединение, пытаясь загрузить все.

Если вам действительно нужно загрузить весь сайт, а контент действительно бесплатный, возможно, он отражен на другом сайте, где вы можете получить к нему более легкий доступ

Редактировать: Или вы можете написать администратору сайта и спросить. Может быть, он может дать его вам в удобном формате или отключить лимит для вас.

Answer 2

Да, это возможно. Смотрите PHP CURL: - http://php.net/manual/en/book.curl.php

В частности: http://www.php.net/manual/en/function.curl-setopt.php: CURLOPT_HTTPPROXYTUNNEL

Вы можете проверить, что то, что вы делаете, является законным. Кроме того, я предполагаю, что вы столкнетесь с тем же лимитом загрузки с прокси.

Answer 3

Технически, разве прокси не должен получать только дополнительные 20 файлов в день?Я надеюсь, что у вас есть много прокси выстроены в очередь.

Другой вариант - использовать Tor , который потенциально может распределить ваши запросы по сотням конечных точек.

Лично я бы сначала обратился к владельцу сайта.Если файлы действительно GPL, а хост следит за духом GPL, а не просто пытается максимизировать рекламный доход, у них не должно быть особых проблем, дающих вам много.