Не совсем. Большинство «плохих ботов» в любом случае игнорируют файл robots.txt.
Злоупотребление ползанием обычно означает соскоб. Эти боты появляются для сбора адресов электронной почты или, чаще, контента.
Что касается того, как вы можете их остановить? Это действительно сложно и часто не мудро. Техники против ползания имеют тенденцию быть не идеальными и создают проблемы для обычных людей.
К сожалению, как «сжатие» в розничной торговле, это издержки ведения бизнеса в Интернете.