На моем сайте у меня есть каталог вещей, который генерируется с помощью вызовов jquery ajax, который впоследствии создает HTML.Насколько я знаю, goole и другие боты не знают об изменениях в dom после загрузки страницы и не будут индексировать каталог.
Чего я хотел бы добиться, так это обслуживать поисковых ботов на выделенной страницекоторый содержит только ссылки на вещи.
Было бы решение добавить тег noscript на страницу каталога?(в разделе noscript я хотел бы сослаться на страницу, которая просто служит ссылками на вещи.)
Я посмотрел как robots.txt, так и метатег, но ни один из них, похоже, не выполняет то, что яхочу.