Существует директива Allow , однако нет никакой гарантии, что конкретный бот ее поддержит (так же, как нет гарантии, что бот даже проверит ваш robots.txt для начала). Вероятно, вы можете узнать из своих блогов, действительно ли определенные боты индексируют только те части вашего сайта, которые вы разрешаете.
Формат, позволяющий использовать только определенную страницу или раздел вашего веб-сайта, может выглядеть следующим образом:
Allow: /public/section1/
Disallow: /
Это (должно) предотвращать сканирование и индексацию ботами всего, кроме содержимого в / public / section1