R - Web Scraping in Accordion Page - PullRequest
       9

R - Web Scraping in Accordion Page

0 голосов
/ 03 сентября 2018

Я пытаюсь вычистить отзывы и оценки клиентов для каждого клиента с веб-страницы bestbuy Mexico. На веб-странице отзывы клиентов не хранятся на другой странице, они были похоронены на странице (стиль свертывания / раскрытия - аккордеон)
Для комментариев я использовал код ниже:

url="https://www.bestbuy.com.mx/p/nikon-camara-reflex-d750-24-120mm-negro/1000190670"
comments =    html_session(url) %>% 
read_html() %>%
html_nodes(".product-reviews")%>% 
html_text()

для оценок я использовал код ниже:

html_nodes(".c-review-average")%>% 
as.numeric()

Но, как я понимаю, я не могу таким образом очистить данные, если они в стиле аккордеона. Итак, я не мог найти способ, как я могу справиться с этим.

Я думаю, что столкнусь с другой проблемой, если смогу пройти первую проблему. Я хочу собрать все отзывы, но он показывает только 10 комментариев на странице, а для других комментариев нельзя управлять с помощью URL. Вам не может понравиться & pageNumber = 2 Чтобы просмотреть оставшиеся отзывы, нажмите на цифры внизу, но они по-прежнему находятся на том же URL-адресе / странице. Я понятия не имею, как я могу их собрать.
Заранее благодарю за поддержку.

ссылка: https://www.bestbuy.com.mx/p/nikon-camara-reflex-d750-24-120mm-negro/1000190670

...