Возможно ли, чтобы BeautifulSoup работал без учета регистра?

Question

Я пытаюсь извлечь Meta Description для выбранных веб-страниц. Но здесь я сталкиваюсь с проблемой чувствительности к регистру BeautifulSoup.

Поскольку некоторые страницы имеют <meta name="Description, а некоторые <meta name="description.

Моя проблема очень похожа на проблему Вопрос по Stackoverflow

Единственная разница в том, что я не могу использовать lxml .. Я должен придерживаться Beautifulsoup.

Answer 1

Вы можете дать BeautifulSoup регулярное выражение для сопоставления атрибутов. Что-то вроде

soup.findAll('meta', name=re.compile("^description$", re.I))

может добиться цели. Извлеченный из BeautifulSoup docs .

Answer 2

Регулярное выражение? Теперь у нас другая проблема .

Вместо этого вы можете передать лямбду:

soup.findAll(lambda tag: tag.name.lower()=='meta',
    name=lambda x: x and x.lower()=='description')

(x and избегает исключения, когда атрибут name не определен для тега)

Answer 3

С небольшими изменениями все работает.

soup.findAll('meta', attrs={'name':re.compile("^description$", re.I)})

Answer 4

С bs4 используйте следующее:

soup.find('meta', attrs={'name': lambda x: x and x.lower()=='description'})