Способ обнаружить припаркованную страницу?

Question

Кто-нибудь знает способ программного обнаружения припаркованной веб-страницы? То есть те страницы, которые вы случайно вводите (или умышленно иногда), и они размещаются на службе парковки домена, на которой ничего нет, кроме рекламы.

Я работаю над связующей сетью и хочу убедиться, что сайты, срок действия которых истек, в конечном итоге не будут захвачены кем-то другим, а затем станут припаркованной страницей.

Answer 1

Вот тест, который, я думаю, может поймать приличное количество из них. Он использует тот факт, что вы на самом деле не хотите иметь настоящие веб-сайты для своих паркованных доменов. Он ищет подстановочные знаки как субдомена, так и пути. Допустим, у нас есть этот URL в нашей системе

http://www.example.com/method-to-detect-parked.

Сначала я бы проверил реальный URL-адрес и хэшировал его или взял копию для сравнения.

Мой второй чек будет

http://random.example.com/random

Если она соответствует исходной ссылке или даже удалась, у вас есть довольно хороший индикатор того, что страница припаркована. Если это не удается, я могу проверить и поддомен, и путь по отдельности. Если страница случайно меняет некоторые элементы, вы можете выбрать несколько элементов для сравнения. Например, составьте список ссылок, включенных в страницу, и сравните их или, возможно, тег заголовка.

Answer 2

Я бы сказал, что вам придется изучить записи WHOIS для рассматриваемых сайтов и / или фактическое содержимое страниц и разработать некоторую эвристику в отношении того, что представляет собой «припаркованную страницу».

Взять goooogle.com , просмотрев их WHOIS запись, которая показывает, что они принадлежат «защите конфиденциальности» и что их DNS-серверами являются ns1 / ns2.fastpark.net. Если вы посмотрите на источник для сайта, они достаточно глупы, чтобы иметь CSS-файл с именем "style_park.css":)

В общем, я не думаю, что вы сможете придумать общий способ сделать это. Вы, вероятно, в конечном итоге получите какую-то постоянно меняющуюся базу правил или черный список

Answer 3

Вы можете просто положиться на своих пользователей, чтобы "Сообщить об этой ссылке" ... что поставит ее в очередь для последующего просмотра?

Answer 4

Посмотрите дату создания записи dns / whois и сравните ее с датой добавления ссылки. Если DNS более новый, это ссылка, которая требует ручной проверки.

Или: отметьте http://example.com/ и http://example.com/xxxxxxrandomstringxxxxx. Если эти две страницы идентичны, у вас есть проблема, которая требует ручной проверки. Либо основная страница, на которую вы хотите создать ссылку, не работает, либо домен припаркован, и все страницы возвращают одно и то же значение. Этот тест не на 100%, потому что некоторые припаркованные страницы отражают элементы из URL.

Если вы просто хотите проверить существующий веб-сайт, такой сервис, как http://www.linkalarm.com/, хорошо справится с этой задачей.