HTTP-запрос от urllib3 и библиотека запросов различаются - PullRequest
Новая
       16

HTTP-запрос от urllib3 и библиотека запросов различаются

0 голосов
/ 22 ноября 2018

Цель: Я пытаюсь удалить некоторые данные с веб-сайта.

Проблема: Мне нужно использовать библиотеку запросы , ноэто дает мне ошибку. 

import requests
url = "https://www.random.com"
requests.get(url)

Попытка решения: У меня есть другая программа, которая использует urllib3 для получения данных веб-сайта, и она отлично работает: 

url = "https://www.random.com"
http = urllib3.PoolManager()
http.request("GET", url)

Я обнаружил, что urllib3 и запросы использует общую библиотеку для отправки запросов, поэтому я подумал, что могу увидеть разницу между ними и, возможно, изменить ее соответствующим образом.Читая приведенную ниже трассировку стека и следуя ей, я заметил, что запрашивает по какой-то причине не может прочитать ответ (раздел кода взят из connectionpool.py одной из библиотек): 

    def begin(self):
    if self.headers is not None:
        # we've already started reading the response
        return

    # read until we get a non-100 response
    while True:
        version, status, reason = self._read_status()

Последняя строка в приведенном выше коде, где они оба отличаются. запросов получает ошибку и не получает никакого ответа. urllib3 получает ответ и продолжает работу.Я подозреваю, что это связано с протоколами безопасности запросов , но я заблудился, поскольку перед отправкой ответа он устанавливает так много переменных.

Полная трассировка стека первогокусок кода: 

Traceback (most recent call last):
  File "/path/lib/python3.7/site-packages/urllib3/connectionpool.py", line 600, in urlopen
    chunked=chunked)
  File "/path/lib/python3.7/site-packages/urllib3/connectionpool.py", line 384, in _make_request
    six.raise_from(e, None)
  File "<string>", line 2, in raise_from
  File "/path/lib/python3.7/site-packages/urllib3/connectionpool.py", line 380, in _make_request
    httplib_response = conn.getresponse()
  File "/path/lib/python3.7/http/client.py", line 1321, in getresponse
    response.begin()
  File "/path/lib/python3.7/http/client.py", line 296, in begin
    version, status, reason = self._read_status()
  File "/path/lib/python3.7/http/client.py", line 257, in _read_status
    line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
  File "/path/lib/python3.7/socket.py", line 589, in readinto
    return self._sock.recv_into(b)
  File "/path/lib/python3.7/site-packages/urllib3/contrib/pyopenssl.py", line 290, in recv_into
    raise SocketError(str(e))
OSError: (104, 'ECONNRESET')

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/path/lib/python3.7/site-packages/requests/adapters.py", line 445, in send
    timeout=timeout
  File "/path/lib/python3.7/site-packages/urllib3/connectionpool.py", line 638, in urlopen
    _stacktrace=sys.exc_info()[2])
  File "/path/lib/python3.7/site-packages/urllib3/util/retry.py", line 367, in increment
    raise six.reraise(type(error), error, _stacktrace)
  File "/path/lib/python3.7/site-packages/urllib3/packages/six.py", line 685, in reraise
    raise value.with_traceback(tb)
  File "/path/lib/python3.7/site-packages/urllib3/connectionpool.py", line 600, in urlopen
    chunked=chunked)
  File "/path/lib/python3.7/site-packages/urllib3/connectionpool.py", line 384, in _make_request
    six.raise_from(e, None)
  File "<string>", line 2, in raise_from
  File "/homes/ubalgans/miniconda3/lib/python3.7/site-packages/urllib3/connectionpool.py", line 380, in _make_request
    httplib_response = conn.getresponse()
  File "/path/lib/python3.7/http/client.py", line 1321, in getresponse
    response.begin()
  File "/path/lib/python3.7/http/client.py", line 296, in begin
    version, status, reason = self._read_status()
  File "/path/lib/python3.7/http/client.py", line 257, in _read_status
    line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
  File "/path/lib/python3.7/socket.py", line 589, in readinto
    return self._sock.recv_into(b)
  File "/path/lib/python3.7/site-packages/urllib3/contrib/pyopenssl.py", line 290, in recv_into
    raise SocketError(str(e))
urllib3.exceptions.ProtocolError: ('Connection aborted.', OSError("(104, 'ECONNRESET')"))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/path/PycharmProjects/test/reqtest.py", line 8, in <module>
    requests.get(url)
  File "/path/lib/python3.7/site-packages/requests/api.py", line 72, in get
    return request('get', url, params=params, **kwargs)
  File "/path/lib/python3.7/site-packages/requests/api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "/path/lib/python3.7/site-packages/requests/sessions.py", line 512, in request
    resp = self.send(prep, **send_kwargs)
  File "/path/lib/python3.7/site-packages/requests/sessions.py", line 622, in send
    r = adapter.send(request, **kwargs)
  File "/path/lib/python3.7/site-packages/requests/adapters.py", line 495, in send
    raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', OSError("(104, 'ECONNRESET')"))

РЕДАКТИРОВАТЬ: Я включил ведение журнала, чтобы увидеть разницу между ними.

запросов: 

DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): random.com:443

urllib3: 

    DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): random.com:443
/path/urllib3/connectionpool.py:857: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)
DEBUG:urllib3.connectionpool:https://random.com:443 "GET /request HTTP/1.1" 200 15189
...