Мой клиент хочет, чтобы я сделал его веб-сайт полностью невидимым в результатах поиска, особенно в поисковой системе Google. Веб-сайт будет простым презентационным одностраничным сайтом, который должен быть обычно доступен (без блокировок, без паролей).
У меня есть несколько идей, которые наверняка сработают, и одна, в которой я не уверен.
Что может сработать:
Настройте файл robots.txt со следующей строкой:
User-agent: *
Disallow: /
Добавить метатег nofollow в заголовок страницы:
<meta name="robots" content="noindex,nofollow" />
Я могу обнаружить строки агента пользователя во всех запросах, составить список известных роботов и скребков, и, если будет совпадение, я могу выкинуть их. Думаю, это тоже должно сработать.
Эта ссылка должна быть полезна в случае обнаружения ботов, эти парни, кажется, предоставляют API для известных строк пользовательских агентов.
Выбор домена также может влиять на результаты поиска:
Мой клиент предпочитает оставаться в списке в некоторых странах. Я заметил, что Google предпочитает предоставлять нам результаты в соответствии с нашим IP-адресом, поэтому, если ваш IP находится в Швеции, вы можете быть уверены, что большинство результатов получены с доменом * .se. Коммерческие домены, такие как * com, * .net, * .org, видны во всех случаях, это имеет смысл. Таким образом, это поставило меня под вопрос, как выбор домена может повлиять на результаты поиска. Например, если я предпочитаю оставаться скрытым для немецких людей, я, конечно, не должен брать домен .de, и я должен избегать коммерческих доменов. Хорошо, я могу выбрать другую страну, но это кажется странным, я бы предпочел взять расширение новых доменов вроде (.club, * .art, * .shop, * .name и т. Д.), Но здесь я Я не уверен, как Google будет относиться к этим доменам. Если они ведут себя как коммерческий домен, тогда я должен остаться с другим доменом с кодом страны.
Я надеюсь, что мои намерения здесь очевидны. Я был бы рад за ваши ценные советы здесь, если есть что-то еще, что я могу сделать, или если кто-то может пролить свет на проблему предметной области, я был бы очень рад.