Могут ли поисковые системы индексировать страницы, созданные кодом на стороне сервера?

Question

Я предполагаю, что сайт, подобный переполнению стека, не хранит html-файл для каждого когда-либо задаваемого вопроса. Вместо этого серверный код создает страницу каждый раз, когда нажимается вопрос (я думаю). Можно ли поисковым системам индексировать каждое задание по переполнению стека, или нужно, чтобы страница-вопрос содержалась в каталоге, чтобы поисковая система могла его сканировать?

Answer 1

Да. Поисковые системы могут индексировать динамически сгенерированные страницы без проблем. Фактически, с точки зрения бота поисковой системы, он не может даже отличить динамически генерируемую страницу от статической.

Answer 2

Вас может заинтересовать сообщение Динамические и статические URL в Официальном центральном блоге Google для веб-мастеров.

Answer 3

Поисковые системы могут видеть на данной веб-странице почти все, что не скрыто за клиентским кодом (например, JavaScript).

Итак, если есть URL-адрес, который вы можете ввести в адресную строку своего браузера, чтобы получить эту страницу, и эта страница откуда-то связана, поисковая система найдет ее и «увидит» тот же контент, что и вы. Тот факт, что страница была сгенерирована динамически сервером, не имеет значения для поисковой системы, поскольку то, что отправляется браузеру при запросе URL-адреса, по-прежнему является просто HTML-файлом.

Другими словами, этот HTML-файл не существует на сервере в той же форме, т. Е. Фактически какой-то серверный код генерирует HTML, а не статический HTML-файл, но это не то, что сканирует поисковая система. хотя и индексируя, скорее ссылки на URL-адреса документов, которые в точности соответствуют тому, что вы видите в адресной строке вашего браузера.

Answer 4

да, если это не ограничено robot.txt или метатегами. Механизм поиска запрашивает веб-страницу, как обычный пользователь, никто не имеет доступа к коду на стороне сервера (если ваш сайт не взломан))

Answer 5

Любая ссылка, использующая GET, может отслеживаться большинством сканеров. Все, что требует POST, обычно игнорируется.

Механизм генерации страницы не имеет значения.

Answer 6

Что касается клиента (будь то браузер или поисковая система), то разница между сгенерированной сервером страницей и статическим файлом отсутствует. Они практически неразличимы (в зависимости от того, как генерируется страница, может отсутствовать Last-Modified заголовки и т. Д.). Таким образом, да, поисковые системы могут индексировать сгенерированные страницы без проблем.

Тем не менее, есть что сказать, чтобы дать им подсказку. Например, использование sitemaps дает поисковой системе хороший список всех ваших страниц, поэтому с меньшей вероятностью их пропустят. Что еще более важно, он может суммировать последние измененные времена, чтобы сосредоточить внимание поисковой системы на том, что изменилось недавно. Это не обязательно, но это помогает - независимо от того, являются ли страницы статическим HTML или сгенерированным.

Answer 7

Да, это вполне возможно - при переходе по ссылке сервер возвращает HTML, как и любая другая веб-страница. Разница лишь в том, что это сгенерировал сервер, а не человек.