открыть персидские домены URL с помощью urllib2 - PullRequest
4 голосов
/ 16 ноября 2011

Я пытаюсь открыть URL-адрес http://الاعلي -للاتصالات.قطر / ar / news-events / event / future-internet-privacy с помощью urllib2.urlopen, но он всегда сообщает об ошибке.

Подобное происходит с http://الاعلي -للاتصالات.قطر / ar ... другие страницы (китайские) открываются в порядке.

Любые идеи, чтобы указать мне правильный путь, чтобы открыть эти URL-адреса?

urllib2.urlopen("http://الاعلي-للاتصالات.قطر/ar/news-events/event/future-internet-privacy").read()

urllib2.urlopen('http://الاعلي-للاتصالات.قطر').read()

[Отредактировано] ошибка:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.6/urllib2.py", line 126, in urlopen
    return _opener.open(url, data, timeout)
  File "/usr/lib/python2.6/urllib2.py", line 391, in open
    response = self._open(req, data)
  File "/usr/lib/python2.6/urllib2.py", line 409, in _open
    '_open', req)
  File "/usr/lib/python2.6/urllib2.py", line 369, in _call_chain
    result = func(*args)
  File "/usr/lib/python2.6/urllib2.py", line 1170, in http_open
    return self.do_open(httplib.HTTPConnection, req)
  File "/usr/lib/python2.6/urllib2.py", line 1142, in do_open
    h.request(req.get_method(), req.get_selector(), req.data, headers)
  File "/usr/lib/python2.6/httplib.py", line 914, in request
    self._send_request(method, url, body, headers)
  File "/usr/lib/python2.6/httplib.py", line 951, in _send_request
    self.endheaders()
  File "/usr/lib/python2.6/httplib.py", line 908, in endheaders
    self._send_output()
  File "/usr/lib/python2.6/httplib.py", line 780, in _send_output
    self.send(msg)
  File "/usr/lib/python2.6/httplib.py", line 759, in send
    self.sock.sendall(str)

Я также пытался с u 'http://الاعلي - للاتصالات.قطر'. Encode ('utf-8'), но URL-адрес результата можеттоже не открывается.

1 Ответ

8 голосов
/ 16 ноября 2011

Как говорит @Donal, URL должен быть с кодировкой .К счастью, Python уже включает это.Вот пример кода Python

domain = "الاعلي-للاتصالات.قطر"
domain_unicode = unicode(domain, "utf8")
domain_idna = domain_unicode.encode("idna")
urllib2.urlopen("http://" + domain_idna).read()

Надеюсь, это поможет.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...