Сканирование идентификаторов и получение TypeError: индексы списка должны быть целыми числами или слайсами, а не str. - PullRequest
Новая
       39

Сканирование идентификаторов и получение TypeError: индексы списка должны быть целыми числами или слайсами, а не str.

0 голосов
/ 23 июня 2019

Я пытаюсь получить идентификаторы с сайта недвижимости. В моей первой попытке я всегда получал первую недвижимость в одном строительном проекте. Теперь я попытался пройти дальше по html-дереву, чтобы получить остальную часть строительного проекта. Но я получаю эту ошибку:

"TypeError: индексы списка должны быть целыми или кусочками, а не str"

HTML выглядит так: 

 "resultlist.resultlist": {
                "paging": {
                    "next": {
                        "@xlink.href": "\/Suche\/S-T\/P-2\/Wohnung-Kauf\/Nordrhein-Westfalen\/Duesseldorf\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/true"
                    },
                    "current": {
                        "@xlink.href": "\/Suche\/S-T\/Wohnung-Kauf\/Nordrhein-Westfalen\/Duesseldorf\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/-\/true"
                    },
                    "pageNumber": 1,
                    "pageSize": 20,
                    "numberOfPages": 3,
                    "numberOfHits": 140,
                    "numberOfListings": 50
                },
                "matchCountList": "",
                "resultlistEntries": [{
                    "@numberOfHits": "140",
                    "@realEstateType": "2",
                    "resultlistEntry": [{
                        "@id": "111337199",
                        "@modification": "2019-06-09T13:36:23.513+02:00",
                        "@creation": "2019-05-05T14:10:47.000+02:00",
                        "@publishDate": "2019-05-05T14:10:47.000+02:00",
                        "similarObjects": [{
                            "similarObject": [{
                                "@id": "105147583",
                                "@modification": "2019-05-05T10:37:59.830+02:00",
                                "@creation": "2018-05-30T11:44:29.000+02:00",
                                "@publishDate": "2018-05-30T11:44:29.000+02:00",
                                "realEstateId": 105147583,

Моя первая попытка выглядела так: 

page1 = ('https://www.immobilienscout24.de/Suche/S-1/Wohnung-Kauf/Nordrhein-Westfalen/Duesseldorf/-/-/-/-/-/-/-/-/-/-/-/-/-/-/-/-/-/true')
res_page1 = requests.get(page1)
soup_page1 = bs(res_page1.content, 'lxml')
r_page1 = re.compile(r'resultListModel:(.*)')
data_page1 = soup_page1.find('script', text=r_page1).text
script_page1 = r_page1.findall(data_page1)[0].rstrip(',')
results_page1 = json.loads(script_page1)
ids_page1 = [item["@id"] for item in results_page1['searchResponseModel']['resultlist.resultlist']['resultlistEntries'][0]['resultlistEntry']]

И получил этот вывод: 

['111353960', '110253440', '111994208', '110517626', '109984070', '109855231', '108761945', '108639776', '106997219', '106492496', '111604737', '111357085', '92741038', '112031279', '111988597', '111876292', '111870285', '111798416', '110742328', '110742299']

Теперь я спустился, чтобы получить остальные, как это: 

ids_page1 = [item["@id"] for item in results_page1['searchResponseModel']['resultlist.resultlist']['resultlistEntries']['resultlistEntry']['similarObjects'][0]['similarObject']]

А теперь я получаю ошибку типа.

Может кто-нибудь объяснить, что я делаю не так.

Ответы [ 2 ]

1 голос
/ 23 июня 2019

Попробуйте следующее, которое проходит через уровни 

from bs4 import BeautifulSoup as bs #4.7.1
import requests

page1 = 'https://www.immobilienscout24.de/Suche/S-1/Wohnung-Kauf/Nordrhein-Westfalen/Duesseldorf/-/-/-/-/-/-/-/-/-/-/-/-/-/-/-/-/-/true'
res_page1 = requests.get(page1)
soup_page1 = bs(res_page1.content, 'lxml')
r_page1 = re.compile(r'resultListModel:(.*)')
data_page1 = soup_page1.find('script', text=r_page1).text
script_page1 = r_page1.findall(data_page1)[0].rstrip(',')
results_page1 = json.loads(script_page1)
ids = []

for item in results_page1['searchResponseModel']['resultlist.resultlist']['resultlistEntries'][0]['resultlistEntry']:
    ids.append(item['@id'])
    if 'similarObjects' in item:
        for i in item['similarObjects'][0]['similarObject']:
            if isinstance(i,dict):
                ids.append(i['@id'])
            elif i == '@id':
                ids.append(item['similarObjects'][0]['similarObject'][i])
0 голосов
/ 23 июня 2019

В выводе вы видите список строк. Обратите внимание на ', окружающий значения. Позвоните int(s) на строку цифр, чтобы превратить его в число.

...