Wordpress Robots.txt имеет значение / подача

Question

У меня есть вопросы, касающиеся SEO, Robots.txt и wordpress

Вот как выглядит мой robots.txt:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

В инструментах Google для веб-мастеров я вижу, что URL-адреса, подобные этому, ограничены:

http://www.domain.com/date/article-title/feed/

Это из-за Disallow / feed, который я предполагаю, теперь реальный заголовок статьи - это тот же URL, что и без '/ feed /' http://www.domain.com/date/article-title/

У меня вопрос, будет ли правильный URL-адрес индексироваться поисковыми системами? Или я должен удалить его из robots.txt? И что вы думаете о robots.txt? Я провел поиск по найденным советам о том, что добавить, и получил это, но когда я смотрю на большие WordPress сайты, у них нет половины предметов, которые есть в моих роботах. TXT-файл.

Answer 1

Сам канал не будет проиндексирован, но содержащиеся в нем URL-адреса могут быть проиндексированы, если их URL-адреса специально не заблокированы в файле robots.txt.

Пока все статьи блога проиндексированыдругие вещи могут быть заблокированы без проблем.Похоже, что некоторые из заблокированных страниц бесполезны для пользователей и поисковых систем (например, страницы входа в систему, страницы отслеживания) или потенциально дублируют проблемы с контентом (например, архивы, страницы с тегами).Бесполезные страницы должны быть заблокированы сразу.Я бы позволил сканировать страницы архива и тегов, но не индексировать их.Таким образом, поисковые системы могут переходить по ссылкам на этих страницах, которые помогут им найти весь ваш контент.Это будет сделано не с robots.txt, а с метатегом или заголовком HTTP .