Очистка нескольких таблиц данных одновременно в Python

Question

Я использую следующий сайт статистики NCAA и хочу получить от него данные:

https://stats.ncaa.org/rankings/change_sport_year_div

Чтобы перейти к указанному c данные, которые я хочу почистить, нажмите на ссылку, выберите мужской баскетбол, год 2019-2020 и дивизион III, а затем нажмите кнопку статистики команды. После поиска по html я смог найти все статистики из выпадающего меню, которое я хочу. Мне было интересно, есть ли потенциально способ использовать BeautifulSoup (или, возможно, даже pd.read_ html ()), чтобы очистить таблицу для каждой категории. Кажется, что вся информация, которая мне может понадобиться, представлена ​​на картинке ниже, но я не совсем уверен, как реализовать инструменты python для капитализации. Это было бы гораздо эффективнее (и гораздо менее скучно), чем вручную загружать лист Excel для каждой статистики и читать их в pandas. Спасибо.

Answer 1

Проверяя ваше дело, вы должны отправить запрос на указанный URL с некоторыми данными формы следующим образом:

sport_code: MBB
academic_year: 2020.0
division: 3.0
ranking_period: 110.0
team_individual: T
game_high: N
ranking_summary: N

---

sport_code=MBB&academic_year=2020.0&division=3.0&ranking_period=110.0&team_individual=T&game_high=N&ranking_summary=N

Отформатируйте данные формы, как показано выше, и вызовите curl,

curl -X POST -d "@formdata.txt" https://stats.ncaa.org/rankings/change_sport_year_div

---

Если хотите, вы можете сделать то же самое с модулем requests, просто убедитесь, что данные формы имеют правильный формат.

r = requests.post("https://stats.ncaa.org/rankings/change_sport_year_div",
                  data={"sport_code": "MBB",
                        "academic_year": 2020.0,
                        "division": 3.0,
                        "ranking_period": 110.0,
                        "team_individual": "T",
                        "game_high": "N",
                        "ranking_summary": "N"})