Disallow: /*“http:
- это то, что я использую - я думаю, что мне может понадобиться как-то избежать кавычки.В инструментах Google для веб-мастеров он даже не читает эту кавычку (где он позволяет вам увидеть файл robots.txt и проверить его по нескольким URL-адресам).
В Инструментах Google для веб-мастеров он отображает файл robots.txt без кавычек для этой строки.
Disallow: /*http:
Будем благодарны за любые предложения.
Основная проблема заключается в том, что скрипт был неправильно отформатирован, и на сайте есть ошибки сканирования:
http://www.domain.com/“http://www.domain.com/directory/directory/dir_ectory/dir_ectory/pagetitle"
Это пример одной из страниц, для которой мы получаем ошибку сканирования.Я предполагаю, что исправление страницы robots.txt остановит отображение этих страниц в наших ошибках сканирования в Инструментах для веб-мастеров.