Как мне написать скребок, который искал постоянную кнопку, нацеленную на один домен

Question

Я хотел бы очистить весь домен ex (Tumblr.com) и найти в каждом блоге встроенный тег.Можно ли это сделать с помощью рельсов?

Answer 1

Конечно, если у этого тега есть селектор css (id, class) или определенный XPATH, который вы можете искать, вы должны использовать Mechanize мощную библиотеку ruby.

Что-то вроде

agent.page.search(".mytag").each do |item|
  day = item.at("a").text

  item.search("p").each do |e|
   image   = e.at("a")
   agent.get(image).save_as("images/img#{rand(1000)}_#{File.basename image}")
  end
end

Answer 2

Это не простой вопрос для ответа.

Я бы указал на:

http://stdlib.rubyonrails.org/libdoc/open-uri/rdoc/index.html