Robots.txt больше для того, чтобы сообщить сканерам, куда и куда не идти раз они уже достигли вашего сайта.
Лучший способ привлечь сканеры на ваш сайт - создать карту сайта для вашего сайта, а затем использовать Google Webmaster , чтобы отправить эту карту сайта в Google.Вы также захотите включить карту сайта в корневой URL-адрес своего сайта и сообщить Google, где он находится (все это можно сделать в Инструменте Google для веб-мастеров, ссылка на который есть выше).