Получить все твиттер-ссылки на веб-странице с помощью RSelenium

Question

Я пытаюсь собрать URL-адреса с веб-страницы с Rselenium, но получаю сообщение об ошибке InvalidSelector

Используйте R 3.6.0 на ПК с Windows 10, Rselenium 1.7.5 с веб-драйвером Chrome (chromever = "75.0.3770.8")

library(RSelenium)

rD <- rsDriver(browser=c("chrome"), chromever="75.0.3770.8")
remDr <- remoteDriver(port = 4567L, browserName = "chrome")
remDr$open()

url <- "https://www.aph.gov.au/Senators_and_Members/Parliamentarian_Search_Results?q=&mem=1&par=1&gen=0&ps=96"
remDr$navigate(url)

tt <- remDr$findElements(using = "xpath", "//a[contains(@href,'http://twitter.com/')]/@href")

Я ожидаю сбора URL-адресов в учетных записях Twitter политиков из списка. Вместо этого я получаю следующую ошибку:

Селеновое сообщение:

invalid selector: The result of the xpath expression "//a[contains(@href,'http://twitter.com/')]/@href" is: [object Attr]. It should be an element.
  (Session info: chrome=75.0.3770.80)
For documentation on this error, please visit: https://www.seleniumhq.org/exceptions/invalid_selector_exception.html
Build info: version: '4.0.0-alpha-1', revision: 'd1d3728cae', time: '2019-04-24T16:15:24'
System info: host: 'ALEX-DELL-17', ip: '10.0.75.1', os.name: 'Windows 10', os.arch: 'amd64', os.version: '10.0', java.version: '1.8.0_191'
Driver info: driver.version: unknown

Ошибка: сводка: InvalidSelector Подробно: Аргумент был неверным селектором (например, XPath / CSS). класс: org.openqa.selenium.InvalidSelectorException Дополнительная информация: запустить метод errorDetails

Когда я выполняю похожий поиск очень специфического элемента, все работает нормально, пример:

tt <- remDr$findElement(value = '//a[@href = "http://twitter.com/AlboMP"]')

, затем

tt$getElementAttribute('href') 

возвращает мне URL, который мне нужен

Что я делаю не так?

Answer 1

Я ничего не знаю о R, поэтому выкладываю ответ с python.Поскольку этот пост посвящен R, я изучил некоторые основы R, а также опубликовал его.

Самый простой способ получить URL Twitter - это перебрать все URL на веб-странице и проверить, не содержит ли он «twitter».в нем.

В python (который работает абсолютно нормально):

driver.get('https://www.aph.gov.au/Senators_and_Members/Parliamentarian_Search_Results?q=&mem=1&par=1&gen=0&ps=96')
links = driver.find_elements_by_xpath("//a[@href]")
for link in links:
    if 'twitter' in link.get_attribute("href"):
        print(link.get_attribute("href")

Результат:

http://twitter.com/AlboMP http://twitter.com/SharonBirdMP
http://twitter.com/Bowenchris http://twitter.com/tony_burke
http://twitter.com/lindaburneymp http://twitter.com/Mark_Butler_MP
https://twitter.com/terrimbutler http://twitter.com/AnthonyByrne_MP
https://twitter.com/JEChalmers http://twitter.com/NickChampionMP
https://twitter.com/LMChesters http://twitter.com/JasonClareMP
https://twitter.com/SharonClaydon
https://www.twitter.com/LibbyCokerMP
https://twitter.com/JulieCollinsMP http://twitter.com/fitzhunter
http://twitter.com/stevegeorganas https://twitter.com/andrewjgiles
https://twitter.com/lukejgosling https://www.twitter.com/JulianHillMP http://twitter.com/stephenjonesalp https://twitter.com/gedkearney
https://twitter.com/MikeKellyofEM http://twitter.com/mattkeogh
http://twitter.com/PeterKhalilMP http://twitter.com/CatherineKingMP
https://twitter.com/MadeleineMHKinghttps://twitter.com/ALEIGHMP
https://twitter.com/RichardMarlesMP
https://twitter.com/brianmitchellmp
http://twitter.com/#!/RobMitchellMP
http://twitter.com/ShayneNeumannMP https://twitter.com/ClareONeilMP
http://twitter.com/JulieOwensMP
http://www.twitter.com/GrahamPerrettMP
http://twitter.com/tanya_plibersek http://twitter.com/AmandaRishworth http://twitter.com/MRowlandMP https://twitter.com/JoanneRyanLalor
http://twitter.com/billshortenmp http://www.twitter.com/annewerriwa
http://www.twitter.com/stemplemanmp
https://twitter.com/MThistlethwaite
http://twitter.com/MariaVamvakinou https://twitter.com/TimWattsMP
https://twitter.com/joshwilsonmp

В R: (Это может быть неправильно, но вы можете понять)

library(XML)
library(RCurl)
library(RSelenium)
url <- "https://www.aph.gov.au/Senators_and_Members/Parliamentarian_Search_Results?q=&mem=1&par=1&gen=0&ps=96"
doc <- getURL(url)
parser <- htmlParse(doc)
links <- xpathSApply(parser, "//a[@href]", xmlGetAttr, "href")
for(link in links){
    if(grepl("twitter", link)){
        print(link)
    }
}

I dдаже не знаю, будет ли этот код работать.Но идея состоит в том, чтобы получить все URL на странице, перебрать ее и проверить, есть ли в ней слово twitter.Этот ответ основан на этом

Answer 2

Это сообщение об ошибке ...

invalid selector: The result of the xpath expression "//a[contains(@href,'http://twitter.com/')]/@href" is: [object Attr]. It should be an element.

...... означает, что ваше XPath-выражение было недопустимым.

xpath выражение:

//a[contains(@href,'http://twitter.com/')]/@href

не возвращает элемент.Это вернуло бы [object Attr].Хотя это было приемлемо при использовании Selenium RC, но методы интерфейса WebElement WebDriver требуют объект-элемент, а не просто какой-либо объект узла DOM.

Чтобы подвести итог, Selenium до сих пор не поддерживает этот формат.и чтобы исправить проблему, вам нужно изменить HTML-разметку, чтобы обернуть текстовый узел внутри элемента, например.

---

Solution

Чтобы исправить эту проблему, вам нужноиспользуйте findElements и создайте список :

findElements(value = '//a[@href = "http://twitter.com/AlboMP"]')

Теперь вы можете перебирать список и, используя метод getElementAttribute('href'), вы можете извлекать URL-адреса.

---

Ссылка

InvalidSelectorError: Результат выражения xpath: [текст объекта]