Rvest работает ранее, теперь возвращает пустой контент - PullRequest
0 голосов
/ 06 января 2020

Следующий скрипт rvest работал ранее, загружая данные, как и ожидалось. Тем не менее, после тестирования, если несколько раз в течение l oop, он, кажется, перестал работать. Есть ли проблема со сценарием или возможно, я заскочил на сайт и был заблокирован?

single_job <- read_html("https://www.higheredjobs.com/search/details.cfm?JobCode=177182074&Title=Student%20Success%20Coordinator") #job link

job_name <- html_nodes(single_job,'h1') %>% html_text()
job_inst <- single_job %>% html_nodes(xpath = '//*[@id="jobAttrib"]/div[2]/div[2]') %>% html_text()
job_cat <- single_job %>% html_nodes(xpath = '//*[@id="jobAttrib"]/div[3]/div[2]/text()') %>% html_text()
job_posted_date <- single_job %>% html_nodes(xpath = '//*[@id="jobAttrib"]/div[4]/div[2]') %>% html_text()
job_type <- single_job %>% html_nodes(xpath = '//*[@id="jobAttrib"]/div[6]/div[2]') %>% html_text()
job_body <- single_job %>% html_nodes(xpath = '//*[@id="jobDesc"]') %>% html_text()

single_job_data <- data.frame(job_name, job_inst, job_cat, job_posted_date, job_type, job_body)

1 Ответ

0 голосов
/ 11 января 2020

Кажется, с кодом все в порядке. HigherEdJobs строг на ботов и ползать.

...