Попытка проверить некоторые URL-адреса работает или нет с запросом python, но с ошибками - PullRequest
Новая
       107

Попытка проверить некоторые URL-адреса работает или нет с запросом python, но с ошибками

0 голосов
/ 02 мая 2020

Я пытаюсь выучить тест некоторых целых rnet адресов с запросом python и ожидаю некоторые результаты (например, 200 или 404). Но я получаю ошибки, которые я не мог понять. Я также открыт для любых советов для моих целей. 

import os , sys , requests
from multiprocessing import Pool

def url_check(url):
    resp = requests.get(url)
    print(resp.status_code)

with Pool(4) as p:
    print(p.map(url_check, [ "https://api.github.com​", "​http://bilgisayar.mu.edu.tr/​", "​https://www.python.org/​", "http://akrepnalan.com/ceng2034​", "https://github.com/caesarsalad/wow​" ]))

Вывод кода с ошибками: 

404
404
multiprocessing.pool.RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 119, in worker
    result = (True, func(*args, **kwds))
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 44, in mapstar
    return list(map(*args))
  File "ödev_deneme.py", line 6, in url_check
    resp = requests.get(url)
  File "/home/efe/.local/lib/python3.6/site-packages/requests/api.py", line 76, in get
    return request('get', url, params=params, **kwargs)
  File "/home/efe/.local/lib/python3.6/site-packages/requests/api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "/home/efe/.local/lib/python3.6/site-packages/requests/sessions.py", line 530, in request
    resp = self.send(prep, **send_kwargs)
  File "/home/efe/.local/lib/python3.6/site-packages/requests/sessions.py", line 637, in send
    adapter = self.get_adapter(url=request.url)
  File "/home/efe/.local/lib/python3.6/site-packages/requests/sessions.py", line 728, in get_adapter
    raise InvalidSchema("No connection adapters were found for {!r}".format(url))
requests.exceptions.InvalidSchema: No connection adapters were found for '\u200bhttps://www.python.org/\u200b'
"""

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "ödev_deneme.py", line 10, in <module>
    print(p.map(url_check, [ "https://api.github.com​", "​http://bilgisayar.mu.edu.tr/​", "​https://www.python.org/​", "http://akrepnalan.com/ceng2034​", "https://github.com/caesarsalad/wow​" ]))
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 266, in map
    return self._map_async(func, iterable, mapstar, chunksize).get()
  File "/usr/lib/python3.6/multiprocessing/pool.py", line 644, in get
    raise self._value
requests.exceptions.InvalidSchema: No connection adapters were found for '\u200bhttps://www.python.org/\u200b'

Мой ожидаемый результат должен быть таким: 

200
200
200
404
200

В четвертой строке 404, потому что четвертый адрес URL не работает. Но в моем выводе уже 404 в первых двух строках. Я думаю, в моем коде огромная ошибка.

1 Ответ

0 голосов
/ 02 мая 2020

Проблема в том, что некоторые URL содержат невидимые символы ZERO WIDTH SPACE ('\u200b').

Вы можете заменить их пустой строкой: 

def url_check(url):
    resp = requests.get(url.replace('\u200b', ''))
    print(resp.status_code)
...