Единственная задача граблей Nokogiri, чтобы очистить все сделки Groupon? - PullRequest
Новая
       4

Единственная задача граблей Nokogiri, чтобы очистить все сделки Groupon?

0 голосов
/ 20 марта 2012

Я хочу пересмотреть предложения Groupon, используя Nokogiri.Я хочу просмотреть все эти предложения по следующей ссылке: http://www.groupon.com/getaways?d=travel_countmein

Кроме того, я хочу получить доступ к каждой отдельной ссылке и очистить заголовок и цену.Концептуально, есть ли способ кодировать одну задачу rake, чтобы сделать это?

Я понимаю, что должен быть какой-то цикл, но я не знаю, как проанализировать URL для каждой сделки изглавная страница отдыха.

Я уже написал скребок для заголовка и цены: 

task :fetch_travel => :environment do

require 'nokogiri'
require 'open-uri'

url = "http://www.groupon.com/deals/ga-flamingo-conferences-resort-spa?c=all&p=0"
doc = Nokogiri::HTML(open(url))


title = doc.at_css("#content//h2/a").text
price = doc.at_css("#amount").text[/[0-9\.]+/]
link = doc.at_css("#content//h2/a")[:href]
desc = doc.at_css(".descriptor").text

Traveldeal.create(:title => title, :price => price, :url => link, :description => desc)

end

1 Ответ

0 голосов
/ 20 марта 2012

Выяснилось, что для этого требуется вложенный цикл, где внутренним циклом является код, указанный выше, а внешний цикл будет анализировать каждую сделку на предмет использования URL во внутреннем цикле.

...