Хороший язык для паука и индексатора

Question

Мне нравится Ruby и его фреймворк, но я не думаю, что Ruby On Rails - лучший выбор для разработки Feed-parser и Indexer.

Возможно, Python или Java - лучший выбор. Какой язык вы предлагаете?

Answer 1

Я думаю, что Ruby отлично подходит для любых задач такого рода:

• http://rubyrss.com/
• http://www.ruby -doc.org / STDLIB / libdoc / Новости / RDoc / index.html
• http://railscasts.com/episodes/173-screen-scraping-with-scrapi

Если вы знакомы с Ruby, я не вижу причин выкладываться на Java, Python et el. для большинства задач. Имейте в виду, что многие библиотеки Ruby работают на нативных реализациях.

Answer 2

Лента (RSS?) Обычно довольно хорошо структурирована (по крайней мере, по сравнению с обычной веб-страницей). Изучите Web Harvest , анализатор DOM на основе оболочки Java / bean (среди прочего). Вы можете использовать это для автоматизации сбора данных из Интернета. Существует предметно-ориентированный язык (определенный в XML), который вам придется выучить. Кривая обучения может быть немного крутой, но я чувствовал, что это того стоит.

Answer 3

Я не очень знаком с Java, но могу сказать, что Python очень хорошо подходит для этой работы.

Существует очень быстрый модуль синтаксического анализа XML, называемый BeautifulStoneSoup, который вы можете использовать. Это часть библиотеки BeautifulSoup. И если вам нужен только простой индексатор, в Python встроен движок sqlite, который также легок и очень быстр.