Я новичок в Scrapy, и я хотел бы знать, как заставить паука подчиняться правилам двух или более пользовательских агентов в файле robots.txt (например, Googlebot и Googlebot-Mobile).
В настоящее время я использую ROBOTSTXT_USER_AGENT, но этот параметр позволяет мне указать только одну строку пользовательского агента, которую нужно использовать для сопоставления, в файле robots.txt, и мне нужно сопоставить хотя бы два пользовательских агента. Вы знаете какой-нибудь способ сделать это?