Я рекомендую вам использовать другой, более эффективный способ получения данных.
Чтобы получить данные через веб-сайт, я рекомендую сначала
- создать список всех URL страниц подробностей
- получить информацию со страниц подробностей в виде параллельных задач