Запретить роботов можно обойти с помощью htaccess?

Question

У меня простой вопрос.Допустим, у меня есть это в robots.txt:

User-agent: *
Disallow: /

И как-то так в .htaccess:

RewriteRule ^somepage/.*$ index.php?section=ubberpage&parameter=$0

Иконечно в index.php что-то вроде:

$imbaVar = $_GET['section']
// Some splits some whatever to get a specific page

include("pages/theImbaPage.html") // Or php or whatever

Смогут ли роботы увидеть, что в этом html включено в сценарий (site.com/somepage)?Я имею в виду ... URL-адрес указывает на недоступное место ... (/somepage запрещено), но все равно он перенаправляется в действительное место (index.php).

Answer 1

Предполагая, что роботы будут уважать robots.txt, тогда он вообще не сможет увидеть ни одной страницы на сайте (вы заявили, что использовали Disallow: /.

Если роботы, тем не менее, этого не делаютуважайте ваш файл robots.txt, тогда они смогут видеть содержимое, так как перенаправление выполняется на стороне сервера.

Answer 2

Нет. Запрещая доступ роботов, роботам не разрешается просматривать любые страницы на вашем сайте, и они следуют вашим правилам