Как скачать и сохранить все PDF из динамического Интернета? - PullRequest
Новая
       16

Как скачать и сохранить все PDF из динамического Интернета?

0 голосов
/ 04 июня 2019

Я пытаюсь загрузить и сохранить в папке все PDF-файлы, содержащиеся в некоторых веб-сайтах с динамическими элементами, например: https://www.bankinter.com/banca/nav/documentos-datos-fundamentales

Каждый PDF-файл в этом URL-адресе имеет похожую ссылку.Вот два из них: "https://bancaonline.bankinter.com/publico/DocumentacionPrixGet?doc=workspace://SpacesStore/fb029023-dd29-47d5-8927-31021d834757;1.0&nameDoc=ISIN_ES0213679FW7_41-Bonos_EstructuradosGarantizad_19.16_es.pdf"

" https://bancaonline.bankinter.com/publico/DocumentacionPrixGet?doc=workspace://SpacesStore/852a7524-f21c-45e8-a8d9-1a75ce0f8286;1.1&nameDoc=20-Dep.Estruc.Cont.Financieros_18.1_es.pdf"

Вот то, что я сделал для другого веба, этот код работает так, как нужно: 

link = 'https://www.bankia.es/estaticos/documentosPRIIPS/json/jsonSimple.txt'
base = 'https://www.bankia.es/estaticos/documentosPRIIPS/{}'

dirf = os.environ['USERPROFILE'] + "\Documents\TFM\PdfFolder"
if not os.path.exists(dirf2):os.makedirs(dirf2)
os.chdir(dirf2)

res = requests.get(link,headers={"User-Agent":"Mozilla/5.0"})
for item in res.json():
    if not 'nombre_de_fichero' in item: continue
    link = base.format(item['nombre_de_fichero'])
    filename_bankia = item['nombre_de_fichero'].split('.')[-2] + ".PDF"
    with open(filename_bankia, 'wb') as f:
        f.write(requests.get(link).content)

1 Ответ

0 голосов
/ 04 июня 2019

Вы должны сделать пост http запросами с соответствующим параметром json. Получив ответ, вы должны проанализировать два поля objectId и nombreFichero, чтобы использовать их для создания правильных ссылок на PDF-файлы. Следующее должно работать: 

import os
import json
import requests

url = 'https://bancaonline.bankinter.com/publico/rs/documentacionPrix/list'
base = 'https://bancaonline.bankinter.com/publico/DocumentacionPrixGet?doc={}&nameDoc={}'
payload = {"cod_categoria": 2,"cod_familia": 3,"divisaDestino": None,"vencimiento": None,"edadActuarial": None}

dirf = os.environ['USERPROFILE'] + "\Desktop\PdfFolder"
if not os.path.exists(dirf):os.makedirs(dirf)
os.chdir(dirf)

r = requests.post(url,json=payload)
for item in r.json():
    objectId = item['objectId']
    nombreFichero = item['nombreFichero'].replace(" ","_")
    filename = nombreFichero.split('.')[-2] + ".PDF"
    link = base.format(objectId,nombreFichero)
    with open(filename, 'wb') as f:
        f.write(requests.get(link).content)

После выполнения вышеуказанного скрипта немного подождите, пока он заработает, так как сайт работает очень медленно.

...