Разбор точных ответов HTML с избыточным тегом - PullRequest
Новая
       14

Разбор точных ответов HTML с избыточным тегом

0 голосов
/ 28 марта 2019

Я хочу разобрать часто задаваемые вопросы о Берт как услуга .

Меня интересует этот HTML: 

<h5>
    <a id="user-content-q-how-do-you-get-the-fixed-representation-did-you-do-pooling-or-something" class="anchor" aria-hidden="true" href="#q-how-do-you-get-the-fixed-representation-did-you-do-pooling-or-something">
    <svg class="octicon octicon-link" viewBox="0 0 16 16" version="1.1" width="16" height="16" aria-hidden="true">
        <path fill-rule="evenodd" d="M4 9h1v1H4c-1.5 0-3-1.69-3-3.5S2.55 3 4 3h4c1.45">
        </path>
    </svg>
    </a>
    <strong>Q:</strong> How do you get the fixed representation? Did you do pooling or something?
</h5>
<p><strong>A:</strong> Yes, pooling is required to get a fixed representation of a sentence. In the default strategy <code>REDUCE_MEAN</code>, I take the second-to-last hidden layer of all of the tokens in the sentence and do average pooling.</p>

Мне удалось получить вопросы отдельно от ответов. Но форма тега ответов не является избыточной. Вот мой код для разбора этого HTML: 

import requests
from bs4 import BeautifulSoup  

wp = requests.get("https://github.com/hanxiao/bert-as-service")
soup = BeautifulSoup(wp.text, "html.parser")

# Parse the questions    
results = soup.find_all("h5") 

questions = []
for result in results:
    question = result.contents[2]
    questions.append(question)

# Parse the answers
new_tag = soup.find_all("p")
new_tag = new_tag[114:165] # specify the tag of the answers


answers = []
for new in new_tag:
    answer = new.contents[1]

У меня действительно плохие формы для моего ответа, поскольку тег <p> очень часто встречается.

Ответы [ 2 ]

3 голосов
/ 29 марта 2019

Вы также можете сделать следующее 

import requests
from bs4 import BeautifulSoup  

wp = requests.get("https://github.com/hanxiao/bert-as-service")
soup = BeautifulSoup(wp.text, "lxml")
titles = [item.text.lstrip('Q: ') for item in soup.select('h5')]
initial_paras = [item.text.lstrip('A: ') for item in soup.select('h5 + p')]
print(len(titles), len(initial_paras))
1 голос
/ 29 марта 2019

Если вы запустите 

for i in results:
  print(i.text)
  print(i.findNext('p').text)

Вы получаете (выбирая одну д / пару наугад): 

Q: Can I use multilingual BERT model provided by Google?
A: Yes.

Затем вы можете добавить их в свои списки и перейти оттуда.

...