codeigniter предотвращает индексацию системных папок и папок

Question

Системная папка, папка img, папка css и папка js содержат коды, не связанные с содержимым сайта.Должны ли мы запретить их в файле robots.text?

Answer 1

Во-первых, это robots.txt, а не robots.text.

Во-вторых, CSS-файлы и Javascripts никогда не будут проиндексированы в любом случае, и изображения обычно не индексируются напрямую, они индексируются при их обнаружениина странице, и системная папка даже не должна быть доступна через Интернет.

Наконец, как сказал Мартин, файл robots.txt является всего лишь рекомендацией для поисковых систем, онине нужно следовать этому (хотя обычно это делают крупные).

Answer 2

По умолчанию системная папка в Codeigniter недоступна для пользователей, поэтому вам не следует об этом беспокоиться.

Как и писал Эндрю, содержимое папок img, css и js не будетиндексируется поисковыми системами, поэтому вам не стоит об этом беспокоиться.

Однако, если у вас есть какие-либо причины блокировать содержимое вышеуказанных файлов для поисковых систем, вы можете сделать это, не беспокоясь о том, что ваш сайтэто повлияет на рейтинг и видимость.

Вот рекомендация SEO, которую Google дает: Seo Fact no.19 .

Answer 3

Запрет каталогов с использованием файла robots.txt означает, что:

• Их содержание не будет проиндексировано основными поисковыми системами.
  • Если в этом файле есть содержимое, которое не относится к вашему веб-сайту и / или не должно возвращаться в результатах поиска, вы можете сделать это.
• Но их содержание все еще будет доступно пользователям

robots.txt - это просто указание сканерам - и абсолютно не способ запретить кому-либо доступ.