Как получить значение диапазона, используя python, BeautifulSoup

Question

Я впервые использую BeautifulSoup и пытаюсь собрать несколько данных, таких как электронная почта, номер телефона и почтовый адрес, из супового объекта.

Используя регулярные выражения, я могу определить адрес электронной почты. Мой код для поиска электронной почты:

def get_email(link):
mail_list = []
for i in link:
        a = str(i)
        email_pattern = re.compile("<a\s+href=\"mailto:([a-zA-Z0-9._@]*)\">", re.IGNORECASE)
        ik = re.findall(email_pattern, a)
        if (len(ik) == 1):
                mail_list.append(i)
        else:
                pass
s_email = str(mail_list[0]).split('<a href="')
t_email = str(s_email[1]).split('">')
print t_email[0]

Теперь мне также нужно собрать номер телефона, почтовый адрес и веб-адрес. Я думаю, что в BeautifulSoup должен быть простой способ найти эти конкретные данные.

Пример HTML-страницы приведен ниже:

<ul>
    <li>
    <span>Email:</span>
    <a href="mailto:abc@gmail.com">Message Us</a>
    </li>
    <li>
    <span>Website:</span>
    <a target="_blank" href="http://www.abcl.com">Visit Our Website</a>
    </li>
    <li>
    <span>Phone:</span>
    (123)456-789
    </li>
    </ul>

И, используя BeatifulSoup, я пытаюсь собрать значения диапазона электронной почты, веб-сайта и телефона.

Заранее спасибо.

Answer 1

Самая очевидная проблема с вашим кодом заключается в том, что вы превращаете объект, представляющий ссылку, обратно в HTML, а затем снова анализируете его с помощью регулярного выражения - что в первую очередь игнорирует смысл использования BeautifulSoup.Возможно, вам придется использовать регулярное выражение для работы с содержимым атрибута href, но это все.Кроме того, else: pass не требуется - вы можете просто полностью его исключить.

Вот код, который делает что-то вроде того, что вы хотите, и может быть полезной отправной точкой:

from BeautifulSoup import BeautifulSoup
import re

# Assuming that html is your input as a string:
soup = BeautifulSoup(html)

all_contacts = []

def mailto_link(e):
    '''Return the email address if the element is is a mailto link,
    otherwise return None'''
    if e.name != 'a':
        return None
    for key, value in e.attrs:
        if key == 'href':
            m = re.search('mailto:(.*)',value)
            if m:
                return m.group(1)
    return None

for ul in soup.findAll('ul'):
    contact = {}
    for li in soup.findAll('li'):
        s = li.find('span')
        if not (s and s.string):
            continue
        if s.string == 'Email:':
            a = li.find(mailto_link)
            if a:
                contact['email'] = mailto_link(a)
        elif s.string == 'Website:':
            a = li.find('a')
            if a:
                contact['website'] = a['href']
        elif s.string == 'Phone:':
            contact['phone'] = unicode(s.nextSibling).strip()
    all_contacts.append(contact)

print all_contacts

Это даст список из одного словаря на каждый найденный контакт, в данном случае это будет просто:

[{'website': u'http://www.abcl.com', 'phone': u'(123)456-789', 'email': u'abc@gmail.com'}]