Могу ли я сохранить страницу с метатегом NOINDEX?

Question

Я делаю webcreawler, и теперь я пытаюсь следовать robots.txt и метатегам NOINDEX и NOFOLLOW.

NOFOLLOW говорит мне не переходить по ссылкам встраницы, но и NOINDEX?
Я понимаю, что это не для индексации страницы в поиске, но я не буду выполнять поиск, только сохраню страницу в базе данных.

Я будунеуважительно тег NOINDEX, если я храню в базе данных или это относится только к поискам?

Answer 1

Нет особых причин не хранить его.Пока вы не индексируете его и не возвращаете в результатах поиска.Вы не уважаете значение NOINDEX, если не возвращаете его в качестве результата поиска.