Чтобы перейти по ссылке с текстом », вам не нужно получать значение атрибута href , достаточно просто окружить блок кода to click()
элемент в блоке try-catch
следующим образом:
while True:
try :
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH, "//ul[@class='pagination']//li/a[@rel='nofollow' and contains(.,'»')]"))).click()
# do your tasks on this particular page
except :
print("No more pages left")
break
driver.quit()