Как найти правильный URL, когда вы сделали выбор на веб-странице?

Question

Я очень новичок в изучении веб-скребков. С помощью селектора xpath я пытаюсь получить знания на этой веб-странице: https://seffaflik.epias.com.tr/transparency/uretim/planlama/kgup.xhtml

Но дело в том, что всякий раз, когда вы меняете дату или имя силовой установки, URL-адрес не меняется, поэтому когда вы получаете ответ, вы получаете всегда один и тот же и неправильный ответ. Есть ли способ найти правильный URL или что-нибудь еще, связанное с HTML Markup et c?

Answer 1

Для такой операции очистки вам нужно сделать немного больше, чем просто загрузить документ и затем захватить содержимое. Рассматриваемый документ использует JavaScript для загрузки новой информации из какого-либо другого ресурса после того, как пользователь определил определенный набор параметров и обновил форму.

После загрузки документа вам необходимо определить ваши параметры поиска. Вы можете сделать это с помощью инъекции JavaScript или через консоль браузера. Например, если вы пытаетесь определить значение для первого поля даты, вы можете использовать

document.querySelectorAll('#j_idt199 input')[1].value = "Some/New/Date";

Повторите этот процесс для других полей, которые вы sh определите в своем поиске, а затем выполните команду следующий код для программного поиска:

document.querySelector('#j_idt199 button').click();

После этого вы можете либо получить нужную информацию, используя простые селекторы запросов JS, либо реализовать библиотеку очистки, такую ​​как artoo. js, чтобы помочь вам интерпретировать данные и экспортировать их.