Лучший способ уменьшить количество проиндексированных ботов - PullRequest
1 голос
/ 24 января 2012
У Google, bing и других поисковых систем есть тонны юрис в их индексах, которые не содержит мой сайт.Допустим, что-то вроде http://www.mydomain.com? Ключ = яблоко + банан + апельсин .

Несмотря на то, что на моем сайте нет прямой ссылки на этот URI, он показывает хорошую страницу в соответствии с результатами моей собственной поисковой системы.(PHP, MySQL и другие вещи).Проблема в том, что боты пожирают ресурсы моего сервера из-за интенсивного доступа, который исчисляется тысячами и тысячами юрис.Хуже всего то, что есть много проиндексированных нечетных строк (не могу сказать ни слова).Все это приводит к снижению производительности и (я подозреваю) снижению рейтинга сайта.

Я хочу сохранить все те, которые действительно существуют, в виде ссылок на моем сайте, например

Год назад я создал карту сайта Google.

Мне нужно решение в соответствии с правилами Google.Единственное, что я имею в виду, это if(strstr($_SERVER['QUERY_STRING'],'+'), затем перенаправить на index.php. Спасибо

Ответы [ 3 ]

2 голосов
/ 24 января 2012

Если у вас есть страница индекса, посмотрите на строку запроса и верните 404 Not Found для key, которые на самом деле не существуют, это должно вывести их из индекса.Перенаправление может указывать на то, что URL действительно действительны.

0 голосов
/ 24 января 2012

Существует два способа решения этой проблемы:
1. создать файл sitemap.xml (google it)
2. Открыть учетную запись в инструменте Google для веб-мастеров: http://www.google.com/webmasters/ и претендовать на право собственности (процесс 5 минут).
После того как вы подтвердите, что являетесь владельцем веб-сайта, войдите в свою учетную запись веб-мастера, перейдите по адресу:
Конфигурация сайта -> Дополнительные ссылки
и там у вас будет возможность удалить определенные ссылки.Вы хотите, чтобы Google игнорировал.

0 голосов
/ 24 января 2012

Вы можете использовать файл "robots.txt", чтобы дать инструкции о вашем сайте веб-роботам.

Вы можете прочитать о том, как его настроить здесь .

Редактировать

Google также говорит о robots.txt здесь .

...