решение, которое я бы использовал;
- Редактировать .htaccess добавить эту строку
RewriteRule robots\.txt robots.php
Создать файл robots.php и вставить в этот код
session_start();
$_SESSION['robot'] = 1;
echo file_get_contents('robots.txt');
exit;
в вашем коде ... протестируйте эту переменную
if (!(isset($_SESSION['robot'])))
{
//this is probably human
} else
{
//this is probably a crawler;
}
Создайте переменную сеанса, чтобы проверить, просматривали ли вы и отображали ли сообщение только один раз