Как написать гусеничный на ruby?

Question

Я работаю над приложением ROR, где мне нужно реализовать сканер, который сканирует другие сайты и сохраняет данные в моей базе данных. Например, предположим, что я хочу отсканировать все сделки с http://www.snapdeal.com и сохранить их в моей базе данных. Как реализовать это с помощью сканера?

Answer 1

Есть несколько вариантов в зависимости от вашего варианта использования.

• Нокогири . Здесь - это RailsCast, с которого можно начать.
• Механизация построена на вершине Нокогири.См. Механизация RailsCast .
• Очистка экрана с помощью ScrAPI и ScrAPI RailsCast .
• Hpricot .

Я использовал комбинацию Nokogiri и Mechanize для нескольких своих проектов, и я думаю, что они хорошие варианты.

Answer 2

Вы хотите взглянуть на механизировать .Кроме того, из того, что вы упомянули, вы, вероятно, вообще не нуждаетесь в рельсах.

Answer 3

Как прокомментировал Серхио, вы извлекаете страницы, анализируете их и переходите по их ссылкам.В вашем случае это звучит так, как будто вы больше сосредоточены на «очистке экрана», чем на сканировании сетей с глубокими связями, поэтому такая библиотека, как Scrubyt , будет полезна (хотя прогресс в этой области уже иссяк).Вы также можете использовать низкоуровневую библиотеку, ориентированную на синтаксический анализ, например Nokogiri .