Извлечение значения атрибута с BeautifulSoup - PullRequest
Новая
       36

Извлечение значения атрибута с BeautifulSoup

78 голосов
/ 10 апреля 2010

Я пытаюсь извлечь содержимое одного атрибута «value» в определенный тег «input» на веб-странице. Я использую следующий код: 

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTag = soup.findAll(attrs={"name" : "stainfo"})

output = inputTag['value']

print str(output)

Я получаю ошибку TypeError: индексы списка должны быть целыми числами, а не str

несмотря на то, что из документации Beautifulsoup я понимаю, что здесь не должно быть проблем со строками ... но я не специалист и могу неправильно понять

Любое предложение очень ценится! Заранее спасибо.

Ответы [ 5 ]

107 голосов
/ 10 апреля 2010

.findAll() возвращает список всех найденных элементов, поэтому: 

inputTag = soup.findAll(attrs={"name" : "stainfo"})

inputTag - список (возможно, содержащий только один элемент). В зависимости от того, что вы хотите именно вы должны сделать: 

 output = inputTag[0]['value']

или используйте метод .find(), который возвращает только один (первый) найденный элемент: 

 inputTag = soup.find(attrs={"name": "stainfo"})
 output = inputTag['value']
9 голосов
/ 16 ноября 2016

В Python 3.x просто используйте get(attr_name) для объекта тега, который вы получаете, используя find_all: 

xmlData = None

with open('conf//test1.xml', 'r') as xmlFile:
    xmlData = xmlFile.read()

xmlDecoded = xmlData

xmlSoup = BeautifulSoup(xmlData, 'html.parser')

repElemList = xmlSoup.find_all('repeatingelement')

for repElem in repElemList:
    print("Processing repElem...")
    repElemID = repElem.get('id')
    repElemName = repElem.get('name')

    print("Attribute id = %s" % repElemID)
    print("Attribute name = %s" % repElemName)

против XML-файла conf//test1.xml, который выглядит следующим образом: 

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<root>
    <singleElement>
        <subElementX>XYZ</subElementX>
    </singleElement>
    <repeatingElement id="11" name="Joe"/>
    <repeatingElement id="12" name="Mary"/>
</root>

печать: 

Processing repElem...
Attribute id = 11
Attribute name = Joe
Processing repElem...
Attribute id = 12
Attribute name = Mary
4 голосов
/ 28 августа 2012

Если вы хотите получить несколько значений атрибутов из вышеприведенного источника, вы можете использовать findAll и понимание списка, чтобы получить все, что вам нужно: 

import urllib
f = urllib.urlopen("http://58.68.130.147")
s = f.read()
f.close()

from BeautifulSoup import BeautifulStoneSoup
soup = BeautifulStoneSoup(s)

inputTags = soup.findAll(attrs={"name" : "stainfo"})
### You may be able to do findAll("input", attrs={"name" : "stainfo"})

output = [x["stainfo"] for x in inputTags]

print output
### This will print a list of the values.
1 голос
/ 18 октября 2017

Вы также можете использовать это: 

import requests
from bs4 import BeautifulSoup
import csv

url = "http://58.68.130.147/"
r = requests.get(url)
data = r.text

soup = BeautifulSoup(data, "html.parser")
get_details = soup.find_all("input", attrs={"name":"stainfo"})

for val in get_details:
    get_val = val["value"]
    print(get_val)
1 голос
/ 08 июля 2012

Я бы действительно предложил вам сэкономить время, если предположить, что вы знаете, какие теги имеют эти атрибуты.

предположим, что у тега xyz есть эта attritube с именем "Staininfo" .. 

full_tag = soup.findAll("xyz")

И я не хочу, чтобы вы поняли, что full_tag - это список 

for each_tag in full_tag:
    staininfo_attrb_value = each_tag["staininfo"]
    print staininfo_attrb_value

Таким образом, вы можете получить все значения attrb Staininfo для всех тегов xyz

...