В scrapy есть ли способ получить полный текст из div? - PullRequest
Новая
       6

В scrapy есть ли способ получить полный текст из div?

0 голосов
/ 09 апреля 2020

Я работаю со скрапом, чтобы сканировать контент из определенных разделов веб-страницы. Мне нужно, чтобы текст был записан именно так, как показано на веб-странице. Веб-страница структурирована примерно так: 

<div class = "uselessInfo">...</div>
<div class = "usefulInfo">
       Some text
       <p>Useful paragraph</p>
       <p>Useful paragraph with <a><span>Important Keywords</span></a>
       <ul>Some interesting data</ul>
</div>
<div class = "usefulInfo">
       Some text
       <ul>Some interesting data</ul>
       <p>Useful paragraph</p>
</div>
<div class = "uselessInfo">...</div>

Когда я извлекаю информацию, я не могу получить доступ к тексту из дочерних элементов. И это также происходит в случае ключевых слов внутри абзацев.

Есть ли способ получить текст из родительского элемента (в данном случае полезноInfo)?

1 Ответ

0 голосов
/ 09 апреля 2020

Вам нужно использовать * вот так 

your_text = "".join(response.css(".uselessInfo *::text").getall())
...