Как извлечь тексты, которых нет ни в одном html-теге, используя beautifulsoup? - PullRequest
Новая
       19

Как извлечь тексты, которых нет ни в одном html-теге, используя beautifulsoup?

0 голосов
/ 30 июня 2019

Строка электронной почты: 

can i buy a laptop<br><br>-- <br>
<div dir="ltr">
    <div>
        <div dir="ltr">
            <div>
                <div dir="ltr">
                    <div>
                        <div dir="ltr">
                            <div dir="ltr">
                                <p style="color:rgb(0,0,0);font-family:times;font-size:medium">
                                    Some important Text/ Email Signature 
                                </p>
                            </div>
                        </div>
                    </div>
                </div>
            </div>
        </div>
    </div>
</div><br>

Требуется выход: 

{
   body: "can i buy a laptop",
   Signature: "Some important Text/ Email Signature"
}

Другая проблема заключается в том, что текст сообщения является динамическим. Это также может быть так: 

<div dir="ltr">Can i buy a phone?<br clear="all">
    <div><br>-- <br>
        <div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">
            <div dir="ltr"><span>
                    <div dir="ltr"><span style="color:rgb(136,136,136)"></span>
                        <div>
                            <div dir="ltr">
                                <div dir="ltr">
                                    <div dir="ltr">
                                    <div> Some Important Divs</div>
                                    </div>
                                </div>
                            </div>
                        </div>
                    </div>
                </span></div>
        </div>
    </div>
</div>

Так что на самом деле не могу быть уверен по тегу 'ltr'. До сих пор я извлекал тег ltr для первой части и для подписи с помощью gmail_signature. 

    soup = BeautifulSoup(emailText, 'html.parser')
    mainbody = soup.find('div', {'dir': 'ltr'})
    if mainbody is not None:
        texts = [t for t in mainbody.contents if isinstance(t, NavigableString)]
        print('Mainbody: ', mainbody)
        print('Texts: ', texts)
        if len(texts) != 0:
            for idx,txt in enumerate(texts):
                allText += txt
                if idx != len(texts):
                    allText += "\n"    
    quotes = soup.find('div', {'class': 'gmail_quote'})
    if quotes is not None:
        for div in quotes:
            replies += " " + div.text
            # replies = replies.replace("\n", "")
            replies = replies.replace("\r", "")
            replies = re.sub(' +', ' ',replies)

1 Ответ

1 голос
/ 30 июня 2019

попробуйте это: со вторым примером: 

import requests
from bs4 import BeautifulSoup

data=dict()
html_page = """<div dir="ltr">Can i buy a phone?<br clear="all">
    <div><br>-- <br>
        <div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature">
            <div dir="ltr"><span>
                    <div dir="ltr"><span style="color:rgb(136,136,136)"></span>
                        <div>
                            <div dir="ltr">
                                <div dir="ltr">
                                    <div dir="ltr">
                                    <div> Some Important Divs</div>
                                    </div>
                                </div>
                            </div>
                        </div>
                    </div>
                </span></div>
        </div>
    </div>
</div>"""
soup = BeautifulSoup(html_page, 'html.parser')
text = soup.find_all(text=True)

output = ''
blacklist = [
    #'[document]',
    #'noscript',
    #'header',
    'html',
    #'meta',
    #'head',
    #'input',
    #'script',
    # there may be more elements you don't want, such as "style", etc.
]

for t in text:
    if t.parent.name not in blacklist:
        output += '{} '.format(t)
if "--"  in output:
  res=output.replace("\n","").split("--")
else:
  res=output.replace("\n","").split("Best Regards ")

data["body"]=res[0]
data["signature"]=res[1].strip()
print(data)

выход: 

{'body': 'Can i buy a phone?  ', 'signature': 'Some Important Divs'}

с первым: 

import requests
from bs4 import BeautifulSoup

data=dict()
html_page = """can i buy a laptop<br><br>-- <br>
<div dir="ltr">
    <div>
        <div dir="ltr">
            <div>
                <div dir="ltr">
                    <div>
                        <div dir="ltr">
                            <div dir="ltr">
                                <p style="color:rgb(0,0,0);font-family:times;font-size:medium">
                                    Some important Text/ Email Signature 
                                </p>
                            </div>
                        </div>
                    </div>
                </div>
            </div>
        </div>
    </div>
</div><br>"""
soup = BeautifulSoup(html_page, 'html.parser')
text = soup.find_all(text=True)

output = ''
blacklist = [
    #'[document]',
    #'noscript',
    #'header',
    'html',
    #'meta',
    #'head',
    #'input',
    #'script',
    # there may be more elements you don't want, such as "style", etc.
]

for t in text:
    if t.parent.name not in blacklist:
        output += '{} '.format(t)
if "--"  in output:
  res=output.replace("\n","").split("--")
else:
  res=output.replace("\n","").split("Best Regards ")

data["body"]=res[0]
data["signature"]=res[1].strip()
print(data)

выход: * +1010 * 

{'body': 'can i buy a laptop ', 'signature': 'Some important Text/ Email Signature'}
...