Я распаковываю большой список продуктов Amazon, используя BS4 Python. Все работает нормально, пока.
После извлечения около 100, а иногда и 200-500 продуктов, он не находит никаких классов / тегов со страницы. Он просто выполняет итерацию внутри и пропускает продукт, как указано в Try Catch l oop (ошибка не найдена бла-бла-тэг).
Решение, которое я нашел, заключается в том, что пользовательский агент меняет пользователя -agent (найдя его по той же ссылке, он снова работает снова, но только для тех же 10-100 продуктов. Так может кто-нибудь помочь мне в этом или сказать, как я могу найти правильный пользовательский агент для конкретной ссылки
Спасибо:)