Проблема в том, что сайт сканируется пустыми строками агента пользователя!Я думаю, что поиск Google использует роботов с пустыми пользовательскими агентами для сканирования сайта.А пустые строковые роботы пользовательского агента игнорируют файл robot.txt. Мы можем заблокировать пустых строковых роботов пользовательского агента, используя файл .htaccess, используя следующий код.
вставить этот код в файл .htaccess
hereRewriteCond %{HTTP_USER_AGENT} ^$
RewriteRule ^(.*)$ - [F,L]