Scrapy не может подключиться к HTTPS-сайту, который поддерживает только старые TLSv1.Соединение потеряно - PullRequest
Новая
       69

Scrapy не может подключиться к HTTPS-сайту, который поддерживает только старые TLSv1.Соединение потеряно

0 голосов
/ 05 апреля 2019

Использование scrapy 1.6.0 (витая 18.9.0, pyopenssl 19.0.0, openssl 1.0.2r, osx 10.14.3). Я исключил пользовательский агент и robots.txt. Кажется, это проблема согласования сертификата. Не задействован веб-прокси.

Пункт назначения https://www.labor.ny.gov/

Воспроизвести: 

04:49:59 dork@Dorks-MacBook:~
0 $ scrapy shell
.
.
.
>>> fetch('https://www.labor.ny.gov')
2019-04-05 16:45:11 [scrapy.core.engine] INFO: Spider opened
Traceback (most recent call last):
  File "<console>", line 1, in <module>
  File "/Users/dork/project/venv/lib/python3.6/site-packages/scrapy/shell.py", line 115, in fetch
    reactor, self._schedule, request, spider)
  File "/Users/dork/project/venv/lib/python3.6/site-packages/twisted/internet/threads.py", line 122, in blockingCallFromThread
    result.raiseException()
  File "/Users/dork/project/venv/lib/python3.6/site-packages/twisted/python/failure.py", line 467, in raiseException
    raise self.value.with_traceback(self.tb)
twisted.web._newclient.ResponseNeverReceived: [<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]

Попытка подключения и согласования через OpenSSL непосредственно в командной строке также кажется неудачной: 

0 $ openssl version
OpenSSL 1.0.2r  26 Feb 2019
04:49:59 dork@Dorks-MacBook:~
0 $ openssl s_client -connect www.labor.ny.gov:443
CONNECTED(00000003)
4472571500:error:140790E5:SSL routines:ssl23_write:ssl handshake failure:s23_lib.c:177:
---
no peer certificate available
---
No client certificate CA names sent
---
SSL handshake has read 0 bytes and written 307 bytes
---
New, (NONE), Cipher is (NONE)
Secure Renegotiation IS NOT supported
Compression: NONE
Expansion: NONE
No ALPN negotiated
SSL-Session:
    Protocol  : TLSv1.2
    Cipher    : 0000
    Session-ID:
    Session-ID-ctx:
    Master-Key:
    Key-Arg   : None
    PSK identity: None
    PSK identity hint: None
    SRP username: None
    Start Time: 1554497411
    Timeout   : 300 (sec)
    Verify return code: 0 (ok)
---

Однако, если я заставлю openssl в TLSv1, это, похоже, сработает. Я просто не знаю, как заставить это из scrapy -> twisted -> pyopenssl -> OpenSSL или, если это возможно. 

04:49:59 dork@Dorks-MacBook:~
0 $ openssl s_client -tls1 -connect www.labor.ny.gov:443
CONNECTED(00000003)
depth=2 C = BE, O = GlobalSign nv-sa, OU = Root CA, CN = GlobalSign Root CA
verify return:1
depth=1 C = BE, O = GlobalSign nv-sa, CN = GlobalSign Organization Validation CA - SHA256 - G2
verify return:1
depth=0 C = US, ST = New York, L = Albany, O = New York State Office for Technology, CN = labor.ny.gov
verify return:1
---
Certificate chain
 0 s:/C=US/ST=New York/L=Albany/O=New York State Office for Technology/CN=labor.ny.gov
   i:/C=BE/O=GlobalSign nv-sa/CN=GlobalSign Organization Validation CA - SHA256 - G2
 1 s:/C=BE/O=GlobalSign nv-sa/CN=GlobalSign Organization Validation CA - SHA256 - G2
   i:/C=BE/O=GlobalSign nv-sa/OU=Root CA/CN=GlobalSign Root CA
---
Server certificate
-----BEGIN CERTIFICATE-----
.
.
.

Почтальон также не может получить страницу. Кажется, что все, что зависит от OpenSSL, молча умирает.

1 Ответ

0 голосов
/ 06 апреля 2019

Не полный ответ; CW на тот случай, если кто-нибудь может добавить скрап (или связанную) часть.

Человек, этот сервер плохой! Он поддерживает только SSL2, SSL3 и TLS1.0, где первые два полностью сломаны, а первый полностью сломан в прошлом веке . Он идентифицируется как IIS / 6.0, который относится к Windows Server 2003 - который давно закончился.

FWLIW, на самом деле он не нетерпим к версии и не сломан для приветствия более 256 байтов, поскольку некоторые дефектные реализации были обнаружены много лет назад; если я использую OpenSSL 1.0.2, чтобы отправить его, ClientHello, предлагающий TLS1.2 с шифрами, ограниченными kRSA, действительно корректно переходит к TLS1.0. Сбой возможен только для OpenSSL> = 1.0.2 по умолчанию ClientHello, который использует значительно больший список шифров, чем предыдущие версии, поскольку TLS1.2 добавил целый набор новых наборов шифров для нового формата AEAD и новой схемы PRF. Принудительное использование TLS1.0 имеет тот же эффект, поскольку заставляет OpenSSL предлагать только меньший список шифровальных наборов, которые действовали в TLS1.0. Я смутно припоминаю ошибку эпохи XP, вызванную «большими» шифрлистами, и в этом может быть проблема.

Это не сертификат. Сертификат - единственное, что у них есть право .

...