В R Studio, как предотвратить ошибку HTML в цикле for при просмотре веб-страниц? - PullRequest
Новая
       17

В R Studio, как предотвратить ошибку HTML в цикле for при просмотре веб-страниц?

0 голосов
/ 15 апреля 2019

Я пытаюсь очистить веб-сайт, но получаю ошибку HTTP 429 с моим текущим кодом (слишком много запросов).

Я пытался добавить интервал ожидания, а также случайный интервал ожиданияно это не работает, я получаю сообщение об ошибке после примерно 100 наблюдений. 

noplayers <- 300 # the amount of players I want to run the loop for while testing my code
playeridtest <- playerid[1:noplayers] # assign the three IDs to a vector
playernames <- NULL
playernames$id <- playeridtest

for(i in seq_along(playeridtest)) {
  scoresway <- paste("http://www.scoresway.com?sport=soccer&page=person&id=",playeridtest[i], sep="")
  scoresway <- read_html(scoresway)
  urlnodescorefirst <- html_node(scoresway, "dd:nth-child(2)")
  urltextscorefirst <- html_text(urlnodescorefirst)
  playernames$first[i] <- urltextscorefirst
  urlnodescoresur <- html_node(scoresway, "dd:nth-child(4)")
  urltextscoresur <- html_text(urlnodescoresur)
  playernames$sur[i] <- urltextscoresur
  Sys.sleep(sample(10, 1) * 0.1)
}

Полная ошибка:

Ошибка в open.connection (x, "rb"): Ошибка HTTP 429.

Может кто-нибудь найти способ обойти эту ошибку?У меня есть около 98 тысяч наблюдений, которые я хочу очистить.

...