Python, Cloud - онлайн-инструмент для очистки веб-страниц с возможностями планирования - PullRequest
1 голос
/ 28 октября 2011

Я планирую разработать веб-приложение / облачное приложение с использованием python, которое выполняет следующие действия:
1. Загрузите и выполните скрипты очистки Perl / Python.
2. Загруженные скрипты для запуска по расписанию.
3. Запустите несколько экземпляров одного и того же сценария с разными входными параметрами.
4. Измерьте производительность сценариев.
5. Просмотрите стандартный вывод / журнал сценариев.

Я получил ограниченные знания о технологиях, которые могут удовлетворить мои требования, не знаю.
Советы, указатели, идеи для существующей работы, библиотеки, реализация с открытым исходным кодом и т. Д.

Спасибо,
Раджеш.

1 Ответ

1 голос
/ 28 октября 2011

Используйте Scrapy в качестве основы для вашей работы:

http://scrapy.org/

Для загрузки, выполнения сценария и вывода (я полагаю, через веб-интерфейс) вам нужно написать свой пользовательский веб-интерфейс, который хранит эту информацию в базе данных, где вы можете затем изучить ее. Одним из вариантов для этого является пирамида:

http://pypi.python.org/pypi/pyramid/

Информацию о развертывании облака Python см. В Heroku:

http://www.heroku.com/

...