Вы можете использовать PHP (или другой серверный скрипт) для обнаружения пользовательского агента веб-сканеров, на которых вы конкретно хотите ориентироваться, таких как Googlebot.
В случае веб-сканера вам придется использовать не-JavaScript-методы для снятия содержимого базы данных и макета страницы.Я бы рекомендовал не разбивать на страницы контент, предназначенный для поисковых систем, при условии, что вы не разбиваете на страницы "человеческую" версию.URL-адреса, обнаруженные веб-сканером, должны совпадать с теми, которые посетят ваши (люди) посетители.На мой взгляд, страница должна отличаться от «человеческой» версии, поскольку больше контента извлекается из БД за один раз.
Список веб-сканеров и их пользовательских агентов (включая Google) находится здесь:
http://www.useragentstring.com/pages/Crawlerlist/
И да, как утверждают другие, не отвечайте на JavaScript за контент, который вы хотите видеть в поисковых системах.Фактически, это довольно часто используется, когда разработчик не видит что-то в поисковых системах.
Все это идет с гонщиком, который предполагает, что вы вообще не разбиваетесь на страницы.Если да, то вы должны использовать серверный скрипт, чтобы разбить страницы на страницы, чтобы они были подобраны поисковыми системами.Кроме того, не забудьте наложить разумные ограничения на объем вашей БД, который вы используете для поисковой системы.Вы не хотите, чтобы время ожидания превышало время ожидания страницы.