Как анализировать данные из HTML с помощью Regex?

Question

Я хочу вырезать название работы, местоположение и описание работы из «Действительно» (только 1-я страница) с помощью Regex и сохранить результаты во фрейме данных.Вот ссылка: https://www.indeed.com/jobs?q=data+scientist&l=California

Я выполнил задачу, используя BeautifulSoup, и они работали совершенно нормально:

from urllib.request import urlopen
from bs4 import BeautifulSoup as BS
import pandas as pd

url = 'https://www.indeed.com/jobs?q=data+scientist&l=California'
htmlfile = urlopen(url)
soup = BS(htmlfile,'html.parser')

companies = []
locations = []
summaries = []

company = soup.findAll('span', attrs={'class':'company'})
for c in company:
    companies.append(c.text.replace("\n",""))

location = soup.findAll(class_ = 'location accessible-contrast-color-location')
for l in location:
    locations.append(l.text)

summary = soup.findAll('div', attrs={'class':'summary'})
for s in summary:
    summaries.append(s.text.replace("\n",""))

jobs_df = pd.DataFrame({'Company':companies, 'Location':locations, 'Summary':summaries})
jobs_df

Результат от BS:

    Company Location    Summary
0   Cisco Careers   San Jose, CA    Work on massive structured, unstru...
1   AllyO   Palo Alto, CA   Extensive knowledge of scientific ...
2   Driven Brands   Benicia, CA 94510   Develop scalable statistical, mach...
3   eBay Inc.   San Jose, CA    These problems require deep analys...
4   Disney Streaming Services   San Francisco, CA   Deep knowledge of machine learning...
5   Trimark Associates, Inc.    Sacramento, CA  The primary focus is in applying d...

Нокогда я пытался использовать те же теги в Regex, это не удавалось.

import urllib.request, urllib.parse, urllib.error
import re
import pandas as pd

url = 'https://www.indeed.com/jobs?q=data+scientist&l=California'
text = urllib.request.urlopen(url).read().decode()

companies = []
locations = []
summaries = []

company = re.findall('<span class="company">(.*?)</span>', text)
for c in company:
    companies.append(str(c))

location = re.findall('<div class="location accessible-contrast-color-location">(.*?)</div>', text)
for l in location:
    locations.append(str(l))

summary = re.findall('<div class="summary">(.*?)</div>', text)
for s in summary:
    summaries.append(str(s))

print(companies)
print(locations)
print(summaries)

Произошла ошибка, из-за которой длина списков не совпадала, поэтому я проверил отдельные списки.Оказалось, что содержимое не может быть получено.Что я получил сверху:

[]
['Palo Alto, CA', 'Sunnyvale, CA', 'San Francisco, CA', 'South San Francisco, CA 94080', 'Pleasanton, CA 94566', 'Aliso Viejo, CA', 'Sacramento, CA', 'Benicia, CA 94510', 'San Bruno, CA']
[]

Что я сделал не так?

Answer 1

. соответствует любому символу, кроме новой строки.В HTML-коде также есть символы новой строки.
Так что вам нужно использовать re.DOTALL в качестве опции флагов в re.findall, как показано ниже:

company = re.findall('<span class="company">(.*?)</span>', text, flags=re.DOTALL)

ИзПриведенный выше код, вы не получите только имена.Вместо этого вы получите все потомки выбранного элемента span.Итак, вам нужно выбрать только ту часть регулярного выражения, которую вы хотите.

for c in company:
  # selecting only the company name, discarding everything in the anchor tag.
  name = re.findall('<a.*>(.*)</a>', c, flags = re.DOTALL)
  for n in name:
    # doing a little cleanup by removing the newlines and spaces.
    companies.append(str(n.strip()))

print(companies)

Вывод:

['Driven Brands', 'Southern California Edison', 'Paypal', "Children's Hospital Los Angeles", 'Cisco Careers', 'University of California, Santa Cruz', 'Beyond Limits', 'Shutterfly', 'Walmart', 'Trimark Associates, Inc.']

Для определения местоположения и сводки больше нет HTML-тегов.
Присутствует только текст.

Таким образом, только re.DOTALL и удаление текста выполнят эту работу.
Нет необходимости в секунде для цикла и второго поиска.

Answer 2

. будет соответствовать любому символу, кроме ограничителей строки.Контент, который вы пытаетесь получить, находится на новых строках \n.Поэтому вам нужно обработать все, что угодно, включая ограничители строки.

, которые вы захотите сделать: company = re.findall('<span class="company">(.*?)</span>', text, re.DOTALL)

Но после этого потребуется небольшая очистка.