robots.txt запретить владение

Question

Я запретил определенные страницы, используя robots.txt для всех сканеров.Нужно ли писать метатеги для этих файлов, или веб-сканеры просто пропустят их, чтобы в этом не было необходимости?

Answer 1

Если сканер, которого вы хотите ограничить, подчиняется robots.txt, то у вас все в порядке, но если этого не произойдет, вы, вероятно, облажались, потому что есть вероятность, что он также проигнорирует мета.

Все основные поиски-производители двигателей, однако, подчиняются ему, так что вы, вероятно, в порядке.

Answer 2

Ты в порядке.Все крупные поисковые системы (Google, действительно) подчиняются любым записям, которые вы вводите в robots.txt.http://www.robotstxt.org/robotstxt.html

Также имейте в виду, что сам файл robots.txt можно просмотреть, поэтому не используйте его в качестве меры безопасности.http://www.cre8asiteforums.com/forums/index.php?showtopic=55546

Answer 3

Хорошо написанные боты будут игнорировать эти страницы (при условии, что синтаксис robots.txt правильный).