Это кажется очень плохой идеей по нескольким причинам, не в последнюю очередь из-за того, что Google будет кэшировать копии ваших страниц, так что даже если я не аутентифицируюсь на вашем сайте, я смогу увидеть содержимое веб-страницы и другие документы, предоставляемые из-за защищенной части вашего веб-сайта.
Что касается обнаружения веб-сканеров, я бы не стал доверять ни одному пользовательскому агенту. Возможно, вы могли бы составить список IP-адресов, с которых происходят сканеры, но как только Google добавит еще один IP-адрес, вы откажетесь от доступа этого сканера.
Выполнение обратного просмотра DNS для каждого запроса, чтобы убедиться, что домен посетителя равен googlebot.com, как предложено на Проверка Googlebot может быть большим ударом по производительности, если ваш сайт занят.