Красивый суп BS4 тег навигации - PullRequest
Новая
       2

Красивый суп BS4 тег навигации

0 голосов
/ 29 апреля 2019

Я пытаюсь перемещаться по выходным данным этого API, чтобы получить метку в ответе.Но после попытки перейти к тегу стандартным методом я получаю пустой ответ. 

from bs4 import BeautifulSoup
import urllib.request
import gzip
import io

headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
           'Accept-Encoding': 'gzip, deflate',
           'Accept-Language': 'en-US,en;q=0.5',
          }

url = 'https://api.stackexchange.com/2.2/search/advanced?order=desc&sort=activity&q=' + 'AKIAJQVBDUUDGLXOEKYA' + '&site=stackoverflow'

req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
time.sleep(3)

if response.info().get('Content-Encoding') == 'gzip':
    pagedata = gzip.decompress(response.read())
elif response.info().get('Content-Encoding') == 'deflate':
    pagedata = response.read()
elif response.info().get('Content-Encoding'):
    print('Encoding type unknown')
else:
    pagedata = response.read()

soup = BeautifulSoup(pagedata, "lxml")
print(soup)

Вывод из супа: 

<html><body><p>{"items":[{"tags":["c#","aws-lambda","aws-serverless"],"owner":{"reputation":188,"user_id":1395211,"user_type":"registered","accept_rate":62,"profile_image":"https://i.stack.imgur.com/WylN7.png?s=128&amp;g=1","display_name":"Mostafa Fallah","link":"https://stackoverflow.com/users/1395211/mostafa-fallah"},"is_answered":true,"view_count":40,"accepted_answer_id":54550236,"answer_count":1,"score":2,"last_activity_date":1549445444,"creation_date":1540222981,"question_id":52933098,"link":"https://stackoverflow.com/questions/52933098/deploying-aws-serverless-lambda-application-with-amazonserverlessapplicationrepo","title":"Deploying AWS Serverless lambda Application with AmazonServerlessApplicationRepositoryClient does not work?"}],"has_more":false,"quota_max":300,"quota_remaining":275}</p></body></html>

Это то, что я использовал для навигации: 

tags  = soup.find_all('p')
t = tags[0]
print(type(t))
print(t.attrs)

Но это возвращает и пустой dict {}, хотя я могу видеть вещи в теге.Не уверен, правильно ли я это делаю.Спасибо за вашу помощь заранее.

Ответы [ 3 ]

1 голос
/ 29 апреля 2019

Элементы в формате json, так что вы можете сделать дамп json и зациклить элементы. 

import requests
url = 'https://api.stackexchange.com/2.2/search/advanced?order=desc&sort=activity&q=' + 'AKIAJQVBDUUDGLXOEKYA' + '&site=stackoverflow'
s=requests.get(url).json()
data = [(item['tags'],item['owner'],item['title']) for item in s['items']]
print(data)

Выход: 

[([python', beautifulsoup'], {user_id': 7309225, profile_image': https://graph.facebook.com/10207802462833592/picture?type=large', user_type': registered', reputation': 532, link': https://stackoverflow.com/users/7309225/digvijay-sawant', accept_rate': 100, display_name': Digvijay Sawant'}, Beautiful Soup BS4 tag navigation'), ([c#', aws-lambda', aws-serverless'], {user_id': 1395211, profile_image': https://i.stack.imgur.com/WylN7.png?s=128&g=1', user_type': registered', reputation': 188, link': https://stackoverflow.com/users/1395211/mostafa-fallah', accept_rate': 62, display_name': Mostafa Fallah'}, Deploying AWS Serverless lambda Application with AmazonServerlessApplicationRepositoryClient does not work?')]
0 голосов
/ 29 апреля 2019

Согласно моему комментарию выше, для тега <p> нет атрибутов .то, что вы видите как теги, находится вне тега: <p>…</p>.атрибуты будут внутри тега, например: <p class="class_name" color="red">…</p>.Чтобы получить информацию в тегах, используйте: 

t = soup.p.string

ОБНОВЛЕНИЕ: в соответствии с тем, что вы уже начали, вы можете использовать модуль json, чтобы получить "словарный стиль" выведите следующее: 

import json
t_dict = json.loads(t)
t_dict  # this will output the json format data

Надеюсь, это поможет.

0 голосов
/ 29 апреля 2019

Попробуйте: 

print(t.contents)

t.attrs возвращает словарь атрибутов этого тега.

t.contents возвращает содержимое (вещь между открывающим и закрывающим тегом)тег.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...