Можно ли найти, когда робот Google сканирует какие-либо URL на моем сайте, и записать время последнего доступа к текстовому файлу на сервере

Question

Ниже приведен код, который отправляет электронное письмо всякий раз, когда Google сканирует любую страницу, что приводит к спаму в почтовом ящике. поэтому можно просто записать последнюю сканированную метку времени в текстовом файле на сервере, который я могу прочитать позже в любое время, используя Perl LWP mod. файл должен содержать только эти данные: 29 января 2012 г. по Гринвичу и т. д. Если бот посещает мой сайт несколько раз, он должен перезаписать текстовый файл и записать только время последнего посещения, пожалуйста, помогите с реализацией, если это возможно

<?php
if ( strpos( $_SERVER['HTTP_USER_AGENT'], 'Googlebot' ) !== false )
{
// paste your email address here
$my_email = 'your_email_address@email.com';
// notify via email
mail($my_email,'[Notification]Googlebot Visit', 'Googlebot has just visited your      website WEBSITE_NAME: '.$_SERVER['REQUEST_URI']);
}
?>

Я думаю, что мы можем сделать это, проверив, попадает ли робот Google на сервер и в какое время он запрашивал какую-либо страницу сайта с сервера?

Answer 1

if ( strpos( $_SERVER['HTTP_USER_AGENT'], 'Googlebot' ) !== false ) {
    file_put_contents('somefile.txt', 'Googlebot was here - ' . date(DATE_RFC822));
}

• http://php.net/manual/en/function.file-put-contents.php
• http://www.php.net/manual/en/function.date.php