У меня есть этот кусок кода в PHP
$uri = explode('/', $_SERVER["REQUEST_URI"]);
$page = $uri[count($uri) - 2];
if(!(in_array($page, array("/*list of allowed pages*/")) || isset($_COOKIE['id'])))
{
header("Location: " . HTTP . "?forbidden" ); //HTTP is the main directory of my website
exit();
}
, который запрещает людям доступ к таким страницам, как страница профиля или настройки если они не вошли в систему.
Если они вводят ссылку на одну из этих страниц, они перенаправляются на главную страницу.
Проблема заключается в том, что когда робот Googlebot пытается индексировать на любую из этих страниц он тоже перенаправляется.
Есть ли способ (возможно, с использованием robot.txt ), чтобы разрешить роботу Google получать доступ к этим страницам, например, из специальной учетной записи или отключить перенаправление, если я знаю, что вместо пользователя есть сканер?