Запретить поисковым системам индексировать мой API - PullRequest
Новая
       46

Запретить поисковым системам индексировать мой API

0 голосов
/ 02 апреля 2019

У меня есть api на api.website.com, который не требует аутентификации.

Я ищу способ запретить Google из индексации моего API.

Есть ли способ сделать это?

У меня уже есть запрещение в моих роботах на api.website.com/robots.txt, но это только мешает Google сканировать его. 

User-agent: *
Disallow: /

Обычным способом было бы удалить Disallow и добавить метатег noindex, но это API, следовательно, нет метатегов или чего-либо еще.

Есть ли другой способ сделать это?

Ответы [ 2 ]

1 голос
/ 02 апреля 2019

Кажется, что есть способ добавить noindex в вызовы API.

Смотрите здесь https://webmasters.stackexchange.com/questions/24569/why-do-google-search-results-include-pages-disallowed-in-robots-txt/24571#24571

Решение, рекомендуемое на обеих этих страницах, заключается в добавлении метатега noindex к страницам, которые вы не хотите индексировать. (HTTP-заголовок X-Robots-Tag также должен работать для страниц, отличных от HTML. Однако я не уверен, работает ли он с перенаправлениями.) Как это ни парадоксально, это означает, что вы должны разрешить роботу Googlebot сканировать эти страницы (либо путем удаления полностью из robots.txt или путем добавления отдельного, более разрешающего набора правил для робота Googlebot), поскольку в противном случае он не сможет увидеть метатег в первую очередь.

0 голосов
/ 02 апреля 2019

Странно, что Google игнорирует ваш файл /robots.txt. Попробуйте добавить файл index.html в корневой веб-каталог и добавить следующее между тегами <head>...</head> веб-страницы. 

<meta name="robots" content="noindex, nofollow">
...