Из Google Создание файла robots.txt guide:
User-agent: [Обязательно, один или несколько на группу] Имя робота поисковой системы (веб гусеничном программном обеспечении), к которому применяется правило. Это первая строка для любого правила. Большинство имен пользовательских агентов Google указаны в базе данных веб-роботов или в списке пользовательских агентов Google. Поддерживает подстановочный знак * для префикса пути, суффикса или всей строки. Использование звездочки (*), как в примере ниже, будет соответствовать всем сканерам, кроме различных сканеров AdsBot, имена которых должны быть указаны явно. (См. Список имен сканеров Google.)
# Example 3: Block all but AdsBot crawlers
User-agent: *
Disallow: /
Как заблокировать все сканеры и сканеры AdsBot