Как очистить URL-адрес от ссылки перенаправления - PullRequest
Новая
       86

Как очистить URL-адрес от ссылки перенаправления

0 голосов
/ 01 мая 2020

Я пытаюсь получить ссылку со страницы, я уже получаю data-url, который содержится в кнопке, и при нажатии этой кнопки веб-сайт загружает URL = something.com/api?call=XXXXXX&auth=XXX. затем переходит на реальный веб-сайт anotherweb.com

, поэтому я подумал, что если я попрошу, чтобы URL я мог добраться до anotherweb.com, и это сработало!

Код: 

import requests
import urllib.error , urllib.request , urllib.parse
#import time
from bs4 import BeautifulSoup

url = input('https://nova.egybest.bid/movie/extraction-2020')

id = url.split('/')[2]



url = requests.get(url).text
api_urls = []

soup = BeautifulSoup( url ,'lxml' )
table_url = soup.find('table' , class_='dls_table btns full mgb')
all = table_url.find_all('a' , class_= 'nop btn g dl _open_window')
for link in all:
   api_url = link['data-url']
   api_urls.append(api_url)

#Quary para [call , auth]
for req in api_urls :
    http = 'http://' + id
    #time.sleep(4)
    new_url = requests.get(http + req)
    #time.sleep(3)
    print(new_url.url)

Через некоторое время это не сработало, вместо этого программа печатает id (загружает главную страницу)

, если есть какой-либо способ получить фактический URL anotherweb.com

ПРИМЕЧАНИЕ: id это домен страницы something.com

...