У нас есть веб-сайт с несколькими приложениями, настроенными в качестве дочерних сайтов. В настоящее время ни один из сайтов не индексируется Google должным образом. Я предполагаю, что это связано с файлом robots.txt, который содержит:
User-Agent: *
Disallow: /
Я могу просмотреть файл robots.txt, добавив имя файла к URL-адресу root site (example.com/robots.txt), но при поиске в реальном каталоге веб-сервера файл robots.txt отсутствует. Я попытался поместить новый файл robots.txt в каталог root, но это не имеет никакого эффекта. Единственная вещь, которая возникла, когда я попытался найти эту проблему, - это функция IIS Search Engine Optimization, которую мы не установили. Существует ли какая-либо настройка сервера или политика, которая генерирует файл автоматически? У нас есть доступ к веб-серверу, но он был настроен и контролируется другим отделом.
VM server
Windows Server 2012 R2 Standard
IIS 8.5