Запись данных соседнего текста

Question

Я работаю над Ма c, используя Pycharm и Selenium Library. Ниже приведена ссылка на некоторые сайты, с которыми я работаю.

https://www.bu.edu/phpbin/course-search/section/?t=caspy211

https://www.bu.edu/phpbin/course-search/section/?t=casma124

По сути, это ссылка на один из классов, предлагаемых в Бостоне Университет. Вы можете увидеть, как в таблице показаны различные расписания для каждого из классов. Есть 3 разных типа классов. Лекции (LE C), Дискуссия (DIS) и Лаборатории (LAB).

Я пытаюсь заставить мой код анализировать страницу, определяя местонахождение каждого типа класса. В этом случае я бы хотел, чтобы моя программа просканировала страницу, чтобы найти все вхождения слова LE C и вернуть расписание и местоположение.

Я пытался использовать inspect для поиска в XPath-словах случаев появления слова «LE C» и того, как этот шаблон может быть t ie вплоть до расписания Рубри c. Но я не смог найти решение. Я чувствую, что может быть более простой способ решить эту проблему.

Answer 1

Привет, ты можешь работать по нижеуказанным грубым линиям. Надеюсь, это поможет: -

import requests
import pandas as pd
url = 'https://www.bu.edu/phpbin/course-search/section/?t=caspy211'
html = requests.get(url).content
df_list = pd.read_html(html)
df = df_list[-1]
df1 = df_list[-2]
df2 = df_list[-3]
dfLec = (df2[df2['Type'].str.contains("lec",case=False,na=False)])