В настоящее время у нас есть два субдомена для моих сайтов, скажем, abc.sample.com и cde.sample.com. Теперь мы хотели бы избежать сканирования для определенного поддомена abc.sample.com, но для поддержки cde.sample.com необходимо поддерживать сканирование.
У нас одинаковый набор кода для обоих сайтов, то есть роботов. txt также будет таким же.
При изучении файла robot.txt кажется, что мы можем избежать / разрешить сканирование для другой страницы одного и того же сайта, но мне нужно выполнить сканирование моего сайта на основе субдомена.