Я могу понять, что если у нас есть страницы, доступные с сайта, но не относящиеся к индексу, я хочу сказать, запретите их из файла robot.txt или если краулер может найти их сам.
Но я не Не думаю, что робот может найти страницы, добавленные в urls.py.
В моем случае я не использую никаких бесполезных или закрытых страниц, кроме страницы администрирования.
Мне действительно нужно делать:
Disallow: myAdminpageWhoIsNoLongerAsecret/