Похоже, что на этом веб-сайте используется динамическая навигационная система, в которой новые элементы загружаются при щелчке по следующим / предыдущим разбитым на страницы результатам таблицы без изменения URL-адреса, т. Е. Содержимое загружается по требованию посредством вызовов AJAX в фоновом режиме.
Общей рекомендацией здесь является автоматизация браузера, в частности Selenium, поскольку она позволяет вам удалять данные, не требуя, чтобы вы имитировали требуемые вызовы AJAX для загрузки нового контента.Selenium можно запрограммировать так, чтобы он нажимал на следующую кнопку так часто, как это необходимо для извлечения всех страниц, доступных на сайте, и получения данных.Очевидно, это требует некоторого программирования.Я не знаю, что ты предпочитаешь;многие используют Python, как показано в этом вопросе .