Попытка извлечь некоторые данные с веб-страницы (начинающий просмотр) - PullRequest
Новая
       79

Попытка извлечь некоторые данные с веб-страницы (начинающий просмотр)

0 голосов
/ 20 февраля 2019

Я пытаюсь извлечь некоторые данные с веб-страницы, используя Запросы , а затем Beautifulsoup .Я начал с получения html-кода с помощью Requests, а затем «поместил его» в Beautifulsoup: 

from bs4 import BeautifulSoup
import requests


result = requests.get("https://XXXXX")
#print(result.status_code)
#print(result.headers)
src = result.content
soup = BeautifulSoup(src, 'lxml')

Затем выделил несколько фрагментов кода: 

tags = soup.findAll('ol',{'class':'activity-popup-users'})

print(tags)

Вот частьчто я получил: 

<div class="account js-actionable-user js-profile-popup-actionable " data-emojified-name="" data-feedback-token="" data-impression-id="" data-name="The UN Times" data-screen-name="TheUNTimes" data-user-id="3787869561">

Теперь мне нужно извлечь данные после data-user-id=, состоящие из чисел от "".Тогда я хотел бы, чтобы эти данные были введены в какой-то калькуляторный лист.Я абсолютный новичок, и я постэкспонирую код, который я нашел в других местах в учебниках или документации.Большое спасибо за ваше время ...

РЕДАКТИРОВАТЬ: Итак, вот что я попробовал: 

from bs4 import BeautifulSoup
import requests
result = requests.get("https://XXXX")
src = result.content
soup = BeautifulSoup(src, 'html.parser')
tags = soup.findAll('ol',{'class':'activity-popup-users'})
print(tags['data-user-id'])

И вот что я получил: 

TypeError: list indices must be integers or slices, not str

Итак, я попыталсячто: 

from bs4 import BeautifulSoup 
import requests 
result = requests.get("https://XXXX") 
src = result.content soup = BeautifulSoup(src, 'html.parser')
#tags = soup.findAll('a',{'class':'account-group js-user-profile-link'}) 
tags = soup.findAll('ol',{'class':'activity-popup-users'}) 
tags.attrs
#print(tags['data-user-id'])

и получил: 

File "C:\Users\XXXX\element.py", line 1884, in __getattr__
    "ResultSet object has no attribute '%s'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?" % key

AttributeError: ResultSet object has no attribute 'attrs'. You're probably treating a list of items like a single item. Did you call find_all() when you meant to call find()?

1 Ответ

0 голосов
/ 20 февраля 2019

Вы можете получить любое значение атрибута тега, обрабатывая тег как словарь значения атрибута.

Прочитайте документацию BeautifulSoup по атрибутам. 

tag['data-user-id']

Например, 

html="""
<div class="account js-actionable-user js-profile-popup-actionable " data-emojified-name="" data-feedback-token="" data-impression-id="" data-name="The UN Times" data-screen-name="TheUNTimes" data-user-id="3787869561">
"""
from bs4 import BeautifulSoup
soup=BeautifulSoup(html,'html.parser')
tag=soup.find('div')
print(tag['data-user-id'])

Вывод 

3787869561

Редактироватьвключить изменение вопроса ОП: 

from bs4 import BeautifulSoup
import requests
result = requests.get("http://twitter.com/RussiaUN/media")
src = result.content
soup = BeautifulSoup(src, 'html.parser')
divs = soup.find_all('div',class_='account')
#just print
for div in divs:
    print(div['data-user-id'])
#write to a file    
with open('file.txt','w') as f:
   for div in divs:
        f.write(div['data-user-id']+'\n')

Вывод: 

255471924
2154112404
408696260
1267887043
475954041
3787869561
796979978
261711504
398068796
1174451010
...
...