Плохой запрос с несколькими URL-адресами с использованием BeautifulSoup - PullRequest
Новая
       26

Плохой запрос с несколькими URL-адресами с использованием BeautifulSoup

0 голосов
/ 03 августа 2020

Я пытаюсь очистить 3 продукта на веб-сайте. Я вложил все 3 в файл .txt.

При запуске по какой-то причине я получаю «Bad Request» на первых 2 URL, и он успешно удаляет третий URL и отправляет веб-перехватчик в Discord . Независимо от того, в каком порядке я помещаю URL-адреса, кажется, что это только последний URL-адрес, независимо от того, делаю ли я это с помощью прокси или нет. (Я добавил прокси, так как хочу создать гораздо больше URL-адресов, чем только 3.)

Вот мой текущий код: 

import requests
import lxml.html
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
from dhooks import Webhook, Embed
import random

ua = UserAgent()
header = {'User-Agent':ua.chrome}

# Proxies
proxy_list = []

for line in open('proxies.txt', 'r'):
    line = line.replace('\n', '')
    proxy_list.append(line)

def get_proxy():
    proxy = random.choice(proxy_list)
    proxies = {
        "http": f'{str(proxy)}',
        "https": f'{str(proxy)}'
    }
    return proxies

# Opening URL file 
with open('urls.txt','r') as file:
    for url in file.readlines():
        proxies = get_proxy()
        result = requests.get(url,headers=header,timeout=3,proxies=proxies)
        soup = BeautifulSoup(result.content, 'lxml')

Спасибо за помощь.

...