Не удается загрузить полное HTML содержимое веб-страницы

Question

Я пытаюсь загрузить веб-страницу , которая содержит около 1200 отзывов о докторе. Я хочу наскрести эти отзывы. Моя проблема в том, что эти обзоры загружаются по 10 за раз, что делает процесс извлечения обзоров вручную очень утомительным.

Запустив команду document.getElementById("LoadMore").click(), я могу загрузить еще 10 отзывов. Однако, когда я помещаю эту команду в a для l oop, она загружает только еще 10 отзывов. Мне нужно загрузить все отзывы на веб-страницу, чтобы очистить их. Моя проблема в том, что я не знаю, как правильно сделать это с JavaScript.

ПРИМЕЧАНИЕ. Я пробовал это, пока l oop

while(document.getElementById("LoadMore")){
  document.getElementById("LoadMore").click();
}

Но веб-страница разбился.

Пожалуйста, не стесняйтесь спрашивать, если что-то не понятно.

Answer 1

В вашем состоянии пока вы имеете истинную ценность. Таким образом, вы получаете бесконечное l oop, как while (true) ..., и, таким образом, вы обрабатываете sh страницу.

Одним из возможных решений является использование некоторой проверки для нового контента, и только затем нажмите кнопку. Или вы можете использовать метод взлома setTimeout, но он не очень хорош из-за проблем с синхронизацией.

Но лучшее решение - это попытаться загрузить контент напрямую через конечную точку API, которая предоставляет эти данные на ненужную веб-страницу. сформироваться.