Nokogiri анализирует HTML или веб-страницу, которую вы даете.Он ничего не знает о файле robots.txt для домена, в котором находится запрошенная вами страница.
Я предполагаю, что вы хотите игнорировать внутренние ссылки в robots.txt?
Поскольку вы отметили этот Rails, я предполагаю, что вы используете Ruby.В этом случае вы можете использовать библиотеку Mechanize , которая имеет возможность использовать файл robots.txt.
Существует также оригинальная версия Perl и другие языковые порты, если вы предпочитаете их.