в последние месяцы googleBot обращался к файлу, которого больше нет на моем сайте [index.php], поскольку вся маршрутизация к нужным домашним страницам на соответствующих языках обрабатывается с помощью правил переписывания apache в htaccess.
Ответ. Я закомментировал свой .htaccess правило DirectoryIndex index.php
RewriteEngine on
RewriteBase /
Options +FollowSymLinks -Indexes -ExecCGI
# DirectoryIndex index.php (not needed anymore, index.php doesnt exist)
# DirectoryIndex /en/home (should it be set to this now??)
В настоящее время все работает возвышенно: корень http://website.org
мгновенно перенаправляется на /en/home
через 301 постоянное перенаправление!
Но
66.249.67.142 / == crawl-66-249-67-142.googlebot.com снова и снова посещает мой сайт, пытаясь прочитать index.php, которого не существует. Что мне делать ??
Пик пробега в файл журнала бесконечных ошибок с такими записями (бедный гуглбот, я подумал, что он может быть более умным ...)
[Fri Mar 04 20:48:30 2011] [error] [client 66.249.66.177] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 20:58:59 2011] [error] [client 66.249.66.177] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:00:18 2011] [error] [client 66.249.67.142] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:01:05 2011] [error] [client 66.249.66.177] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:12:28 2011] [error] [client 66.249.66.164] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php
[Fri Mar 04 21:27:30 2011] [error] [client 66.249.68.115] File does not exist:
/var/www/vhosts/site.com/httpdocs/index.php