Как сделать robots.txt на Django

Question

Я видел здесь другие ответы, но они не очень полезны, поэтому я и спрашиваю.Я также попробовал фреймворк django-robots, но он выдает ошибку, когда я просто помещаю 'robots' в мой INSTALLED_APPS

INSTALLED_APPS = [
'index.apps.IndexConfig',
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'django.contrib.sitemaps',
]

Answer 1

Django не имеет ничего общего с вашим файлом robots.txt.Этот файл используется поисковыми сканерами в качестве ссылки при просмотре вашего веб-сайта.По умолчанию все пути ваших каталогов доступны для искателей.Вы можете упомянуть пути внутри robots.txt, которые не нужно индексировать поисковым системам.Подробнее об этом здесь .
Вы можете использовать свой веб-сервер (например, Apache, Ngnix) для рендеринга этого файла.

Answer 2

Вы можете использовать просто шаблон TemplateView

: robots.txt

User-agent: *
Disallow: /admin/
Disallow: /accounts/

urls.py

from django.views.generic import TemplateView

urlpatterns = [
    # ...
    path('robots.txt', TemplateView.as_view(template_name="robots.txt", content_type='text/plain')),
    # ...
]