Получить полное доменное имя из домена - PullRequest
0 голосов
/ 19 февраля 2019

это мой первый вопрос здесь, поэтому я постараюсь изо всех сил.

Я пытаюсь получить полное доменное имя (полное доменное имя) из группы доменов, т.е. получить https://es.aliexpress.com из aliexpress.com.Я пробовал веб-драйвер Selenium, но он занимает слишком много времени для вычисления всех доменов (даже с короткими тайм-аутами и блокировкой изображений).

Я спрашиваю, знает ли кто-нибудь способ сделать это без загрузки контента, что-то вродеwget, но только для URL.

Спасибо за чтение.

1 Ответ

0 голосов
/ 20 февраля 2019

Не совсем ...

Прежде всего, http и https не имеют никакого отношения к доменным именам.Это протоколы передачи.

Игнорируя эту часть, то, что вы называете полным доменным именем, часто генерируется во время доступа к ним.

Например, многие веб-сайты перенаправляют браузер с сайта рабочего стола намобильная версия (типичная m.something.com) на основе строки вашего агента пользователя.Это означает, что www.something.com и m.something.com являются действительными ответами

В приведенном вами примере aliexpress.com добавлен es., что означает, что, скорее всего, на сервере есть код, который читает в любом из ваших местоположений.(на основе IP-адреса) или настройки языка в вашем браузере, чтобы направить вас к версии es веб-сайта, а не к версии en или dk.

Эти изменения могут быть выполнены с помощьюфайл .htaccess в корневой папке веб-сайта или через код конца.

Сам Google Chrome автоматически пытается добавить www., если похоже, что вы ввели URL-адрес в строку «все».

Также возможно, что URL является одним гигантским перенаправлением.Некоторые сайты скупают дополнительные доменные имена, которые все перенаправляют на свой основной сайт.Таким образом, даже если вы введете xyz.com, вы получите abcd.com.

Не существует алгоритмического способа перехода от базового URL к тому, что вы называете полным доменным именем.


PS Вот статья о том, что означает FQDN.

...