Лучшая практика для веб-хостинга веб-сайта с Scrapy Spiders, работающего в бэкэнде - PullRequest
3 голосов
/ 15 декабря 2011

Может быть, я что-то упускаю из-за Scrapy, но вот что я собираюсь сделать: я создал сайт на основе информации, которую я сканирую из Интернета, используя Scrapy Crawl Spiders.Тем не менее, я застрял в том, как запустить мой веб-сайт.Я рассматриваю веб-хостинг, но большинство поставщиков услуг не позволяют устанавливать эти сценарии на своем сервере.Конечно, я могу арендовать сервер, но это слишком дорого для меня на данный момент.Может ли кто-нибудь пролить свет на это, если у вас есть подобный опыт.Сайт основан на ASP.NET, поэтому веб-хостинг должен поддерживать MS SQL, ASP.NET и Scrapy.Есть ли что-то в скрапе, чтобы я мог запустить пауков без установки?Очень ценится.

Ура, Рэй

1 Ответ

2 голосов
/ 17 декабря 2011

Вам понадобится хостинг, где вы сможете установить сервис scrapyd, чтобы вы могли автоматизировать очистку экрана.Я никогда не делал этого, так как я только начинаю играть с Scrapy, но вот информация о scrapyd: http://readthedocs.org/docs/scrapy/en/latest/topics/scrapyd.html

Вы можете посмотреть на виртуальные выделенные серверы для хостинга, так как они дешевле, чемсовмещенные или выделенные серверы, но дают вам больше контроля, чем виртуальный хостинг.

...