Запретить поисковым системам индексировать страницы с 3 или более пробелами в пути

Question

Как я могу запретить поисковым системам индексировать страницы с 3 или более пробелами в пути?например:

www.example.com/about.html ->ok
www.example.com/1/2/3/4/5/test.html -> no index!!!

Как мне написать robots.txt?Спасибо!

Answer 1

Попробуйте с

User-Agent: *
Disallow: /*/*/*/*

Хотя я не уверен, что все боты поддерживают *.