Получить протокол + имя хоста из URL

Question

В моем приложении Django мне нужно получить имя хоста от реферера в request.META.get('HTTP_REFERER') вместе с его протоколом, чтобы из URL-адресов, таких как:

• https://docs.google.com/spreadsheet/ccc?key=blah-blah-blah-blah#gid=1
• https://stackoverflow.com/questions/1234567/blah-blah-blah-blah
• http://www.example.com
• https://www.other -domain.com / что угодно / бла / бла /? V1 = 0 & v2 = бла + бла ...

Я должен получить:

• https://docs.google.com/
• https://stackoverflow.com/
• http://www.example.com
• https://www.other -domain.com /

Я просмотрел другие связанные вопросы и нашел относительно urlparse, но это не помогло, так как

>>> urlparse(request.META.get('HTTP_REFERER')).hostname
'docs.google.com'

Answer 1

Вы должны быть в состоянии сделать это с urlparse (документы: python2 , python3 ):

from urllib.parse import urlparse
# from urlparse import urlparse  # Python 2
parsed_uri = urlparse('http://stackoverflow.com/questions/1234567/blah-blah-blah-blah' )
result = '{uri.scheme}://{uri.netloc}/'.format(uri=parsed_uri)
print(result)

# gives
'http://stackoverflow.com/'

Answer 2

https://github.com/john-kurkowski/tldextract

Это более подробная версия urlparse.Он обнаруживает домены и субдомены для вас.

Из их документации:

>>> import tldextract
>>> tldextract.extract('http://forums.news.cnn.com/')
ExtractResult(subdomain='forums.news', domain='cnn', suffix='com')
>>> tldextract.extract('http://forums.bbc.co.uk/') # United Kingdom
ExtractResult(subdomain='forums', domain='bbc', suffix='co.uk')
>>> tldextract.extract('http://www.worldbank.org.kg/') # Kyrgyzstan
ExtractResult(subdomain='www', domain='worldbank', suffix='org.kg')

ExtractResult - это именованный кортеж, поэтому доступ к нужным вам элементам прост.

Answer 3

Python3 с использованием urlsplit :

from urllib.parse import urlsplit
url = "/5252100/poluchit-protokol-imya-hosta-iz-url"
base_url = "{0.scheme}://{0.netloc}/".format(urlsplit(url))
print(base_url)
# http://stackoverflow.com/

Answer 4

Операции с чистой строкой:):

>>> url = "/5252100/poluchit-protokol-imya-hosta-iz-url"
>>> url.split("//")[-1].split("/")[0].split('?')[0]
'stackoverflow.com'
>>> url = "stackoverflow.com/questions/9626535/get-domain-name-from-url"
>>> url.split("//")[-1].split("/")[0].split('?')[0]
'stackoverflow.com'
>>> url = "http://foo.bar?haha/whatever"
>>> url.split("//")[-1].split("/")[0].split('?')[0]
'foo.bar'

Вот и все, ребята.

Answer 5

>>> import urlparse
>>> url = 'http://stackoverflow.com/questions/1234567/blah-blah-blah-blah'
>>> urlparse.urljoin(url, '/')
'http://stackoverflow.com/'

Answer 6

если вы считаете, что ваш URL действителен, то это будет работать постоянно

domain = "http://google.com".split("://")[1].split("/")[0] 

Answer 7

Вот немного улучшенная версия:

urls = [
    "http://stackoverflow.com:8080/some/folder?test=/questions/9626535/get-domain-name-from-url",
    "Stackoverflow.com:8080/some/folder?test=/questions/9626535/get-domain-name-from-url",
    "http://stackoverflow.com/some/folder?test=/questions/9626535/get-domain-name-from-url",
    "https://StackOverflow.com:8080?test=/questions/9626535/get-domain-name-from-url",
    "stackoverflow.com?test=questions&v=get-domain-name-from-url"]
for url in urls:
    spltAr = url.split("://");
    i = (0,1)[len(spltAr)>1];
    dm = spltAr[i].split("?")[0].split('/')[0].split(':')[0].lower();
    print dm

выход

stackoverflow.com
stackoverflow.com
stackoverflow.com
stackoverflow.com
stackoverflow.com

Скрипка: https://pyfiddle.io/fiddle/23e4976e-88d2-4757-993e-532aa41b7bf0/?i=true

Answer 8

Что-то не так с чистыми строковыми операциями:

url = '/5252100/poluchit-protokol-imya-hosta-iz-url'
parts = url.split('//', 1)
print parts[0]+'//'+parts[1].split('/', 1)[0]
>>> http://stackoverflow.com

Если вы предпочитаете добавить косую черту, расширьте этот скрипт примерно так:

parts = url.split('//', 1)
base = parts[0]+'//'+parts[1].split('/', 1)[0]
print base + (len(url) > len(base) and url[len(base)]=='/'and'/' or '')

Возможно, этобыть немного оптимизирован ...

Answer 9

Это немного глупо, но использует urlparse в обоих направлениях:

import urlparse
def uri2schemehostname(uri):
    urlparse.urlunparse(urlparse.urlparse(uri)[:2] + ("",) * 4)

этот нечетный ("",) * 4 бит, потому что urlparse ожидает последовательность точно len(urlparse.ParseResult._fields)= 6

Answer 10

для получения домена / имени хоста и источника *

url = '/5252100/poluchit-protokol-imya-hosta-iz-url'
hostname = url.split('/')[2] # stackoverflow.com
origin = '/'.join(url.split('/')[:3]) # https://stackoverflow.com

*Origin используется в XMLHttpRequest заголовках