Я рендеринг страниц, используя https://github.com/scrapinghub/splash. Есть функция, которая позволяет мне делать запросы через прокси.Я приобрел несколько прокси у "proxyrack", но все они не работают с https
сайтами.Я получаю ответ «SSL Handshake Failed».
Я искал способ хотя бы как-то отключить или обойти эту проблему без всякой удачи.
Нужно решение.
Я уже установил, что эти прокси работают нормально на моей машине, используя curl, также они работают нормально через экземпляр Splash Docker (используя curl).Я получаю эту ошибку только при использовании HTTP-API-заставки и предоставления прокси-серверов прокси.
Примечание. Я успешно использовал тот же экземпляр заставки, используя бесплатные прокси-серверы, найденные в Интернете, и они работали нормально.
С этим (из док-контейнера):
curl localhost:8050/render.html \
-X POST \
-H 'Content-Type: application/json' \
-d '{ "url": "https://www.google.com/", "proxy": "http://username:password@usa.shared.proxyrack.net:40006"}'
Я получаю:
{"type": "RenderError", "description": "Error rendering page", "error": 502, "info": {"type": "Network", "code": 6, "url": "https://www.google.com/", "text": "SSL handshake failed"}}
Но с этим (из док-контейнера):
curl -x usa.shared.proxyrack.net:40003 -U username:password https://www.google.com
Iполучить успешный ответ.