Если цель состоит в том, чтобы посмотреть на веб-сайт, не зная заранее, как будет выглядеть javascript или HTML, и попытаться выяснить, где вы окажетесь, нажав на различные теги привязки, вы можете использовать что-то вроде WebDriver, чтобы фактическизагрузите страницу в браузере (реальном или виртуальном), щелкните по различным элементам DOM и посмотрите, где вы в итоге.
Хотя очистка веб-страниц - дело сложное.Есть сотни мелочей, которые могут заставить ваш код не правильно читать страницу.У вас может быть сто маленьких ожиданий, что данный веб-сайт может не соответствовать.