Настройте IIS для использования другого robot.txt для запросов https - PullRequest
Новая
       8

Настройте IIS для использования другого robot.txt для запросов https

3 голосов
/ 07 февраля 2011

Как использовать файл robots.txt для запроса https, отличный от того, который используется для подключений http в IIS 7?

Спасибо.

Ответы [ 2 ]

2 голосов
/ 08 февраля 2011

Здесь есть несколько опций, в зависимости от того, насколько вам это нужно. Наиболее гибкий подход - написать обработчик и отобразить его для запроса роботов и обработать его внутренне.

Однако, для большинства нужд попробуйте переписать модуль URL. http://www.iis.net/download/urlrewrite

от макушки головы (иначе проба не работает на 100%), это что-то вроде: 

<rule name="https_robots">
  <match url="(.*)" />
    <conditions>
      <add input="{HTTPS}" pattern="off" ignoreCase="true" />
    </conditions>
  <action type="Redirect" redirectType="Found" url="https://{HTTP_HOST}/robots-https.txt" />
</rule>
0 голосов
/ 24 мая 2018

У меня точно такая же проблема:

Я сейчас настраиваю версию https, хочу посмотреть на нее и отладить ее без спешки, тем временем отгоняя Google от сканирования https, но сохраняя http "обычным делом". Вот фрагмент кода, который я использовал в файле конфигурации: 

<rule name="https_robots"  stopProcessing="true">
  <match url="^robots\.txt$" />
    <conditions>
      <add input="{HTTPS}" pattern="^OFF$" />
    </conditions>
   <action type="Rewrite" url="robots_https.txt" />
</rule>

Несколько заметок:

По сути, я создал файл "robots_https.txt", содержащий инструкцию "disallow for all".

Я использовал Rewrite, а не Redirect. Я не уверен, что паук получит перенаправление. Я действительно сомневаюсь в этом. С Rewrite вы не ошибетесь.

Надеюсь, это поможет!

...