Лучший способ удалить все динамически сгенерированные данные из выпадающего меню, используя python

Question

Я создаю webscraper, который будет отбирать динамически сгенерированные данные игрока с этого сайта

https://frozenpool.dobbersports.com/frozenpool_linecombo.php

Я хочу создать al oop, который будет генерировать данные для игрока из выпадающего меню, скопируйте данные, а затем l oop через весь список игроков в выпадающем меню.

Мне любопытно, если использование селена для взаимодействия с сайтом - лучший способ сделать это. Но я также заметил, что URL-адрес для каждого проигрывателя соответствует указанному шаблону c, поэтому я решил очистить начальную страницу, чтобы собрать все необходимые мне данные, затем использовать эти данные для создания списка URL-адресов, а затем циклически проходить по этому. список URL-адресов и их обработка как stati c страниц.

Существуют ли python инструменты, созданные для этого определенного c типа веб-скрапинга?

Answer 1

Похоже, что вся необходимая информация загружена в запрос к https://frozenpool.dobbersports.com/frozenpool_linecombo.php. Поскольку он не делает дополнительных запросов для получения дополнительной информации, Selenium, вероятно, немного излишне для этого проекта, и вы можете придерживаться BeautifulSoup.

Я думаю, что вы правы в том, что просматриваете каждого игрока, используя структуру URL. Если это единственный случай, скопируйте список игроков непосредственно с html страницы, чтобы получить идентификаторы игроков, затем l oop через следующий URL, заменив PLAYER_ID на каждый идентификатор игрока .

http://frozenpool.dobbersports.com/frozenpool_linecombo.php?select=F&forward= PLAYER_ID & games = 2019-2020% 3AR% 3A99 & period = ALL & ситуация = ALL