Как исправить - проиндексировано, хотя и заблокировано robots.txt?

Question

Я только что получил электронное письмо о проблемах покрытия индекса для моего сайта.Следующий файл индексируется Google:

root-of-my-site/files/custom.js

Обратите внимание, что я запретил папку /files в моем .htaccess, хотя Google проиндексировал URL-адрес из этой папки.

Пожалуйста, дайте мне знать, как мне индексировать мой URL навсегда!

Answer 1

Пожалуйста, прочитайте эту статью от самого Goole: https://support.google.com/webmasters/answer/7440203?hl=en

Некоторые из них:

Индексируются, но заблокированы robots.txt: Страницабыл проиндексирован, несмотря на то, что был заблокирован robots.txt (Google всегда уважает robots.txt, но это не помогает , если кто-то ссылается на него ).Это помечено как предупреждение, потому что мы не уверены, что вы намеревались заблокировать страницу из результатов поиска.Если вы хотите заблокировать эту страницу, robots.txt не является правильным механизмом, чтобы избежать индексации. Чтобы избежать индексации, вы должны либо использовать 'noindex' , либо запретить анонимный доступ кстраница с использованием аутентификации.Вы можете использовать тестер robots.txt , чтобы определить, какое правило блокирует эту страницу.Из-за robots.txt любой фрагмент, показанный для страницы, вероятно, будет неоптимальным.Если вы не хотите блокировать эту страницу, обновите файл robots.txt, чтобы разблокировать вашу страницу.

Вы можете посмотреть это видео для более подробной информации: https://www.youtube.com/watch?v=WlniBqL_0Zc