прокси для масштабирования, производительности (для загрузки внешнего контента)?

Question

Я уверен, что ответ на этот вопрос будет очень субъективным, я просто хочу знать, какие есть варианты (для создания прокси для загрузки внешнего содержимого).

Обычно я использовал cURL в php и передавал переменную наподобие proxy.url для получения содержимого. Затем выполните AJAX-вызов с Javascript, чтобы заполнить содержимое.

EDIT: YQL (язык Yahoo Query) кажется мне очень многообещающим решением, однако у него есть суточный лимит использования, что существенно мешает мне использовать его для крупных проектов.

Какие еще есть варианты? Я открыт для любого языка, любой платформы, ключевыми критериями которой являются: производительность и масштабируемость.

Пожалуйста, поделитесь своими идеями, мыслями и опытом по этой теме.

Спасибо,

Answer 1

В зависимости от того, что вам нужно делать с контентом, вы можете рассмотреть вариант Erlang. Он светится быстро, смехотворно надежен и отлично подходит для масштабирования.

Answer 2

вам не нужен прокси-сервер или что-то еще. Просто создайте cronjob, чтобы получать содержимое каждые 5 минут (или в любое время).

Вам просто нужно создать скрипт, который будет извлекать контент из Интернета и сохранять его (в файл, базу данных, ...), который будет запущен cronjob.

Если кто-то запрашивает вашу страницу, вам просто нужно отправить кэшированный контент и делать с ним все, что вы хотите.

Я думаю, что масштабируемость и производительность не будут проблемой.