Очистка с помощью Rvest: ссылки не обрабатываются с помощью html_attr ('href') - PullRequest
Новая
       14

Очистка с помощью Rvest: ссылки не обрабатываются с помощью html_attr ('href')

0 голосов
/ 31 марта 2020

Я пытаюсь очистить архив объявлений о вакансиях в Дании с некоторыми c фильтрами на веб-сайте. Когда я пытаюсь очистить все заголовки и их ссылки, я могу получить заголовки, но не ссылки. Я пробовал разные селекторы, но ничего не поднимает ссылки. Селектор CSS ".jix_job_archived> ab, #result_list_box strong" выбирает все заголовки. Для предоставленного сайта первая ссылка должна быть: https://www.jobindex.dk/c?t=r8830962&ctx=w

Я включил изображение веб-сайта, на котором я хочу очистить "href", отмеченный в правой части экрана. 

library(rvest)
library(tibble)
    sel<- ".jix_job_archived > a b , #result_list_box strong" 
    jobindex <- "https://www.jobindex.dk/jobsoegning/kontor/offentlig?jobage=archive&maxdate=20200330&mindate=19901230"

    tbl <- tibble(text = pg 
    %>% html_nodes(css = sel) %>% 
    html_text(), link = pg %>% html_nodes(css = sel) %>% html_attr('href'))
    view(tbl)

**# A tibble: 20 x 2
   text                                                                                                link 
   <chr>                                                                                               <chr>
 1 Administrativ medarbejder/sekretær til stabsfunktion                                                NA   
 2 Meeqqeriviup_igaffia_inuussutissanut_ikiortimik_pissarsiorpoq                                       NA   **

1 Ответ

0 голосов
/ 31 марта 2020

Ссылка находится за пределами тега <strong>. Таким образом, если вы поставите html_nodes с селектором ".jix_job_archived > a b , #result_list_box strong", ссылка не будет выбрана.

Это может помочь. 

library(rvest)
library(tibble)

jobindex <- "https://www.jobindex.dk/jobsoegning/kontor/offentlig?jobage=archive&maxdate=20200330&mindate=19901230"

jobnodes <- jobindex %>%
  read_html %>%
  html_nodes(".jobsearch-result") 

text <- jobnodes %>% html_text %>% trimws() %>% sub("(.*?)\\n.*","\\1",.)
link1 <- jobnodes %>% html_node("a") %>% html_attr("data-click")
link2 <- jobnodes %>% html_node("a") %>% html_attr("href")

tbl <- tibble(text = text, link1 = link1,  link2 = link2)

Вывод 

tbl

# # A tibble: 20 x 3
#    text                                              link1             link2                                                              
#    <chr>                                             <chr>             <chr>                                                              
#  1 Administrativ medarbejder/sekretær til stabsfunk… /c?t=r8830962&ct… http://www.profiljob.dk/resultat/administrativ-medarbejdersekretae…
#  2 Meeqqeriviup_igaffia_inuussutissanut_ikiortimik_… /c?t=r8831043&ct… https://www.qeqqata.gl/Ledig_stillinger/2020/04/Meeqqeriviup_igaff…
#  3 Borgerrådgiver                                    /c?t=r8828448&ct… https://favrskov.dk/sites/default/files/borgerraadgiver_enkeltside…
#  4 Kombineret stilling som forebyggelseskonsulent o… /c?t=r8828382&ct… https://www.qeqqata.gl/Ledig_stillinger/2020/04/Forebyggelseskonsu…
#  5 Stilling som koordinerende sagsbehandler for ung… /c?t=h972855&ctx… http://www.solrod.dk/                                              
#  6 Sagsbehandler til jobafklarings- og ressourcefor… /c?t=h972838&ctx… http://www.solrod.dk/                                              
#  7 2-3 skolesekretærer søges til landsbyordningerne… /c?t=r8827011&ct… https://www.skolejobs.dk/stilling/landsbyordningerne-i-odder-kommu…
#  8 Overassistent i Vejledning ved Majoriaq i Sisimi… /c?t=r8825989&ct… https://www.qeqqata.gl/Ledig_stillinger/2020/03/Overassistent_vejl…
#  9 Generalist                                        /c?t=r8824808&ct… https://naalakkersuisut.emply.net/recruitment/vacancyAd.aspx?publi…
# 10 Administrativ medarbejder til Små og mellemstore… /c?t=h972425&ctx… https://www.sktst.dk/                                              
# 11 Akademiker til Stab og Udviklingsopgaver          /c?t=r8824111&ct… https://www.ofir.dk/resultat/akademiker-til-stab-og-udviklingsopga…
# 12 2 dygtige og motiverede administrative medarbejd… /c?t=h972318&ctx… https://phabsalon.dk/                                              
# 13 Tjenestefordeler – Trafikstyring Øst              /c?t=h972077&ctx… http://www.banedanmark.dk/                                         
# 14 Planlægningskonsulent søges til Psykiatrien       /c?t=r8821953&ct… https://rm.emply.net/recruitment/vacancyAd.aspx?publishingId=a81f5…
# 15 Fundraiser                                        /c?t=r8821594&ct… https://www.jobindex.dk/jobannonce/jobnet/8821594                  
# 16 Projektleder i Borgmesterens Afdeling som vil ta… /c?t=r8820419&ct… https://www.jobindex.dk/jobannonce/jobnet/8820419                  
# 17 Administrativ medarbejder til Borger- og retssik… /c?t=h971668&ctx… https://candidate.hr-manager.net/ApplicationInit.aspx?cid=5001&Pro…
# 18 Kollega til Myndighed Handicap- og psykiatriafde… /c?t=r8818554&ct… https://www.ofir.dk/resultat/kollega-til-myndighed-handicap-og-psy…
# 19 Energiplanlægger søges til By, Kultur og Miljøse… /c?t=r8818534&ct… https://www.ofir.dk/resultat/energiplanlaegger-soeges-til-by-kultu…
# 20 Akademisk medarbejder til Regionspsykiatrien Ran… /c?t=r8819996&ct… https://www.ofir.dk/resultat/akademisk-medarbejder-til-regionspsyk…
...