Ваш код является синхронным, поэтому вы загружаете страницы по одной.
Это очень медленно, вместо этого вы можете загружать несколько страниц параллельно.
Greenlet - новая реклама для Python-параллеравычисления, так что попробуйте gevent .
Ну, это при условии, что вы можете получить следующую страницу перед загрузкой всей предыдущей страницы, конечно.Попробуйте узнать, сможете ли вы быстро получить следующий пейджинг.