JavaScript скрипт для изучения сайта?

Question

Я пытаюсь написать скрипт, который извлекает базу данных из веб-сайта.

Главная страница содержит таблицу, в которой все строки содержат ссылку на другую страницу, содержащую требуемую базу данных.

Пока мой сценарий работает для извлечения базы данных из определенной строки, но я не знаю, как расширить сценарий для всех строк таблицы.

Например, однажды база данныхПосле извлечения первой строки мой сценарий должен вернуться на предыдущую страницу, затем щелкнуть по второй строке и извлечь базу данных:

var lastName = document.getElementById('A1').value; //extracting DB
if(_PGSAISIEBANCAIRE_SUB()){_JSL(_PAGE_,'A83','_self','','')} //going to previous page
document.getElementById('A23').click(); //going to the page of the next line

Но когда я запускаю сценарий в консоли Google Chrome, каждый разстраница перезагружается, мой сценарий исчезает, поэтому невозможно извлечь больше одной строки за раз.

У кого-нибудь есть идеи, как решить эту проблему?

Answer 1

Я наконец нашел его!

Моя проблема заключалась в том, что для изучения веб-сайта мне понадобился цикл в javascript, и когда я использовал браузер, после каждого обновления страницы мой код исчезал.

решение состоит в том, чтобы использовать Selenium (я использовал его на Python, но это возможно с другими языками) и запускать javascript из вашего кода:

from selenium import webdriver
driver = webdriver.Chrome()
driver.get("http://myWebSite.com")
driver.execute_script("document.getElementById('A40_2').click();")

Вы можете легко выполнять циклы Javascript с помощью Python:

for i in range (10):
    driver.execute_script("extract here;")

или с самим Javascript:

driver.execute_script("var i; for(i=0;i<10;i++){extract here;};")