Nokogiri найти только входящие ссылки

Question

У меня есть HTML-документ, расположенный на http://somedomain.com/somedir/example.html

Документ содержит четыре ссылки:

http://otherdomain.com/other.html

http://somedomain.com/other.html

/ only.html

test.html

Как получить полные URL-адреса для ссылок в текущем домене?

Я имею в виду, я должен получить:

http://somedomain.com/other.html

http://somedomain.com/only.html

http://somedomain.com/somedir/test.html

Первая ссылка должна игнорироваться, поскольку она не соответствует моему домену

Answer 1

Что-то вроде

doc.search("a").map do |a| 
  url = a.attribute("href")
  #this part could be a lot more robust, but you get the idea...
  full_url = url.match("^http://") ? url : "http://somedomain.com/#{url}"
end.select{|url| url.match("^http://somedomain.com")}

Answer 2

используйте регулярное выражение для извлечения ссылок из href = "URL" затем объединить с доменом, если он не начинается с "http"

Вот пример Python:

import re
import urlparse

domain = ...
html = ...
links = re.findall('href=[\'"](.*?)[\'"]', html)
links = [urlparse.urljoin(domain, link) for link in links if link]