Очистка URL-адресов, которые не видны

Question

Я практикую чистку этой веб-страницы: https://banco.santander.cl/beneficios/todos?segmento=s-personas&categoria=sabores

Она содержит преимущества Сантандера, связанные с едой, я хочу получить ссылки на показанные варианты, но когдаЯ захожу на исходную страницу, я не могу найти эту информацию.

Я читаю и понимаю, что вы не можете скрыть какую-либо информацию в исходном коде, но вы можете каким-то образом «зашифровать».Я хочу знать, что происходит в данном конкретном случае, над которым я работаю, это «зашифровано»?или это что-то еще?

Например, первым продуктом является Work / Café, URL: https://banco.santander.cl/beneficios/promociones/work-cafe?segmento=s-personas&categoria=sabores Как найти этот URL в исходном коде?или почему я не могу его найти

исходный код: исходный

Answer 1

Вы можете получить его с помощью URL-адреса запроса и получить ответ json.Он вернет все рекламные акции, и вы сможете получить доступ к URL-адресам, связанным в формате json:

import requests

url = 'https://banco.santander.cl/beneficios/promociones.json'

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'}
params = {
'per_page': '500',
'page': '1'}

response = requests.get(url, headers=headers, params = params).json()

promotions = response['promociones']

# This will print ALL promototions
for promo in promotions:
    print (promo['url'])


# To print just a specific category as defined in the json response
for promo in promotions:
if promo['category'] == 'sabores':
    print (promo['url'])

Вывод:

https://banco.santander.cl/beneficios/sabores/promociones/work-cafe
https://banco.santander.cl/beneficios/sabores/promociones/le-due-torri-4
https://banco.santander.cl/beneficios/sabores/promociones/senz-sushi-nikkei
https://banco.santander.cl/beneficios/sabores/promociones/chili-s
https://banco.santander.cl/beneficios/sabores/promociones/1756
https://banco.santander.cl/beneficios/sabores/promociones/idilico-2
https://banco.santander.cl/beneficios/sabores/promociones/la-celia-restobar
https://banco.santander.cl/beneficios/sabores/promociones/au-restaurante
https://banco.santander.cl/beneficios/sabores/promociones/ph-banh-mi-by-vietnam-discovery-2
https://banco.santander.cl/beneficios/sabores/promociones/vietnam-discovery-3
https://banco.santander.cl/beneficios/sabores/promociones/majestic-2
https://banco.santander.cl/beneficios/sabores/promociones/bozzo-2
https://banco.santander.cl/beneficios/sabores/promociones/tambo-2
https://banco.santander.cl/beneficios/sabores/promociones/boost-2
https://banco.santander.cl/beneficios/sabores/promociones/panko-2
https://banco.santander.cl/beneficios/sabores/promociones/mizu-sushi
https://banco.santander.cl/beneficios/sabores/promociones/fork-2
https://banco.santander.cl/beneficios/sabores/promociones/hacienda-patagonia-2
https://banco.santander.cl/beneficios/sabores/promociones/san-marino-puerto-montt-2
https://banco.santander.cl/beneficios/sabores/promociones/toro-bayo-talca
https://banco.santander.cl/beneficios/sabores/promociones/burger-club-la-serena-2
https://banco.santander.cl/beneficios/sabores/promociones/vivace-talca-2
https://banco.santander.cl/beneficios/sabores/promociones/cambalache
https://banco.santander.cl/beneficios/sabores/promociones/las-vacas-gordas-2
https://banco.santander.cl/beneficios/sabores/promociones/castillo-forestal-2
https://banco.santander.cl/beneficios/sabores/promociones/burger-king-3
https://banco.santander.cl/beneficios/sabores/promociones/rosa-amelia
https://banco.santander.cl/beneficios/sabores/promociones/montana-steak-house-bar
https://banco.santander.cl/beneficios/sabores/promociones/zocca
https://banco.santander.cl/beneficios/sabores/promociones/club-de-yates-puerto-montt
https://banco.santander.cl/beneficios/sabores/promociones/museo-peruano
https://banco.santander.cl/beneficios/sabores/promociones/pf-chang-s-2  

Answer 2

попробуйте использовать селен / веб-драйвер.