Отправить Карта сайта в Google. Используйте Инструменты Google для веб-мастеров, чтобы добавить свой сайт и автоматически создать сжатый файл sitemap.xml. Это сообщит Google обо всех URL-адресах на вашем сайте, чтобы можно было их сканировать. Вы также можете отслеживать, как часто Google сканирует ваш сайт, и обнаруживает ли он при этом какие-либо ошибки.
РЕДАКТИРОВАТЬ: Если вас беспокоит слишком большой размер файла Sitemap, вы можете создать карту сайта с одним URL-адресом, указывающим на главную страницу индекса. Эта индексная страница может создаваться один раз в день или по одному запросу и может быть сегментирована так, как вам нравится. Он просто служит источником для сканирования Google. Например, он может представлять список символов A, B, C, D, E, ..., Z, которые являются ссылками на страницы, содержащие список всех страниц, начинающихся с этого символа. Это не имеет значения, однако вы хотите сделать это, чтобы оптимизировать ресурсы базы данных.
Ключом к этому является включение файла sitemap.xml в систему Google, чтобы они знали, когда и как часто вас сканируют. Есть много всяких тонкостей для создания карты сайта. Вышеупомянутый подход с одним URL является грубым, но он может работать. В идеале вы должны создать карту сайта с каждым URL в вашей системе, отсортированным по приоритету, но это не требуется.
Посмотрите спецификацию карты сайта для получения дополнительной информации. Если вы просто хотите запустить Google, используйте подход 1 URL, чтобы начать работу.