Вот разница в простых терминах:
A robots.txt Файл управляет сканированием. Он инструктирует роботов (например, пауков), которые ищут страницы для сканирования, чтобы «не пускать» определенные места. Вы помещаете этот файл в корневой каталог вашего сайта.
A noindex управляет индексацией. Это говорит паукам, что страница не должна быть проиндексирована. Вы размещаете этот тег в коде соответствующей веб-страницы.
Используйте файл robots.txt, когда вы хотите контролировать на уровне каталога или на вашем сайте. Однако имейте в виду, что роботы не обязаны следовать этим директивам. Большинство будет, например, Googlebot, но безопаснее хранить любую конфиденциальную информацию в общедоступных областях сайта.
Как и в случае файлов robots.txt, теги noindex исключают страницу из результатов поиска. Страница все равно будет сканироваться, но она не будет проиндексирована. Используйте эти теги, когда вы хотите контролировать на уровне отдельной страницы.
Помимо разницы между сканированием и индексированием: сканирование (через пауков) - это то, как паук поисковой системы отслеживает ваш сайт; результаты сканирования попадают в индекс поисковой системы. Хранение этой информации в индексе ускоряет возврат релевантных результатов поиска - вместо сканирования каждой страницы, относящейся к поиску, поиск индекса (меньшая база данных) оптимизирует скорость.
Если бы не было индекса, поисковая система посмотрела бы на каждый существующий бит данных или информации, относящейся к поисковому запросу, и у всех нас было бы время приготовить и съесть пару бутербродов, ожидая результатов поиска. для отображения. Индекс использует пауков, чтобы поддерживать свою базу данных в актуальном состоянии.
Вот пример тега:
<meta name="robots" content="noindex,follow"/>
Теперь, когда вы прочитали и поняли приведенную выше информацию, я думаю, что вы можете ответить на свой вопрос самостоятельно;)