Поскольку configure robots.txt может влиять только на страницу under моего сайта, есть ли другой способ заблокировать сканер, кроме добавления ref="nofollow" для моих внешних ссылок?
under
ref="nofollow"