Как разрешить роботу Googlebot сканировать контент, загруженный из AJAX, но запретить индексирование попадания URL?

Question

У меня есть набор страниц на моем сайте, где я размещаю «основное содержимое» при загрузке страницы и «связанный контент» после загрузки страницы с помощью нажатия AJAX.Я хочу убедиться, что робот Googlebot может загружать контент через AJAX и переходить по ссылкам в нем, но не индексировать URL-адрес запроса.

Если я запрещу URL-адрес в файле robots.txt, робот Googlebot не будет сканироватьсодержимое.Если я добавлю к нему X-Robots-тег «noindex», вся страница станет неиндексированной, а это не то, что мне нужно.Любое решение?

Answer 1

Вы не можете попросить сканера подождать;То, что вы можете сделать, это предварительно обработать AJAX-запрос, поэтому контент будет сначала обработан и проиндексирован.Подробнее об этом читайте здесь: https://groups.google.com/a/chromium.org/forum/#!forum/prerender

Примечание: это замедлит загрузку страницы.Таким образом, вы в основном остановите загрузку страницы полностью, предоставляя конкретные запросы, которые вы хотите обработать, и только затем загружайте контент в браузер.

Вот почему я должен сказать: использование AJAX на внешнем интерфейсе для этой задачи (связанные статьи) является неправильным.Вы должны попытаться получить соответствующие статьи на стороне сервера, не по запросам AJAX, а по запросу БД - это зависит от вашей CMS.