Прокрутка содержимого Dynami c с использованием селена в python не работает

Question

https://www.narendramodi.in/category/text-speeches -> Я хотел почистить эту страницу. Поскольку это динамический c один, мне нужно прокрутить вниз до нижней части страницы, а затем получить содержимое HTML, чтобы очистить его. Но когда этот веб-сайт открывается с помощью веб-драйвера selenium chrome, веб-сайт не загружается ни вручную, ни автоматически, когда я прокручиваю страницу вниз. Когда сайт открывается с обычного chrome, он работает просто отлично. Я даже попробовал с firefox драйвером, и результат тот же. Вот код, который я опробовал.

driver = webdriver.Chrome(executable_path=r'C:/tools/drivers/chromedriver.exe')
driver.get('https://www.narendramodi.in/news')
# https://stackoverflow.com/a/27760083

SCROLL_PAUSE_TIME = 2.0
# Get scroll height
last_height = driver.execute_script("return document.body.scrollHeight")
print(last_height)

while True:
    # Scroll down to bottom
    time.sleep(SCROLL_PAUSE_TIME)

    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    # Wait to load page
    time.sleep(SCROLL_PAUSE_TIME)

    # Calculate new scroll height and compare with last scroll height
    new_height = driver.execute_script("return document.body.scrollHeight")
    print(new_height)
    if new_height == last_height:
        break
    last_height = new_height


res = driver.execute_script("return document.documentElement.outerHTML")
driver.quit()

soup = BeautifulSoup(res, 'lxml')

Как я могу очистить всю эту страницу?