Очистить данные с помощью кнопки «Загрузить еще» от Ratemyprofоресурс

Question

Я столкнулся с проблемой, когда пытался почистить текст отзыва с ratemyprofestival.com (http://www.ratemyprofessors.com/ShowRatings.jsp?tid=860968#). В настоящее время я использую BeautifulSoup и запросы.

Я хотел бы получить все содержимое обзора, пока данные после нажатия «Загрузить еще» недоступны. Я пробовал разные способы, которые были опубликованы в StackOverflow и Reddit, к сожалению, ни один из них не работает для меня.

Проверяемая кнопка «Загрузить еще»: onclick = "javascript: mtvn.btg.Controller.sendLinkEvent ({linkName: 'PROF: LoadMore', linkType: 'o'});"

Буду очень признателен, если кто-нибудь сможет мне помочь с этой проблемой. Спасибо.

Answer 1

Вам нужно использовать вкладку Chrome Network, чтобы посмотреть, какой запрос сделан, когда вы нажимаете кнопку load more.В данном случае это:

http://www.ratemyprofessors.com/paginate/professors/ratings?tid=860968&filter=&courseCode=&page=2

Answer 2

Появляется на сайте JS.Я думаю, вам нужно использовать что-то вроде Selenium, чтобы очистить это.С помощью Selenium вы можете указать веб-браузеру прокрутить до конца и захватить все данные, которые вы ищете таким образом.