Количество URL-адресов AJAX с частичным содержимым страницы проиндексировано Google.
Похоже, не существует простого и прямого способа запросить массовое исключение из индекса Google, поэтому было несколько попыток исправить это.
Сначала использовалось исключение robots.txt, но потом оказалось, что Google игнорирует robots.txt, когда находит прямую ссылку или уже имеет ее в индексе.
Вторая попытка заключалась в добавлении заголовка noindex к URL-адресам, которые необходимо исключить, но теперь требуется повторная проверка всех этих URL-адресов.
Эти URL-адреса даже группируются в консоли поиска Google в отчете об охвате как «Действительный с предупреждениями», а предупреждение: «Индексируется, хотя блокируется файлом robots.txt». Вероятно, это результат первого robots.txt подхода.
Есть кнопка для их повторной проверки, но для ее запуска требуется несколько недель, а затем она переходит в состояние сбоя после прохождения нескольких процентов URL. Количество этих URL-адресов с предупреждениями уменьшается, но затем проверка прекращается.
Итак, вопрос в том, как правильно и быстро переиндексировать набор URL-адресов после добавления заголовка noindex?