когда я запускаю паука, я получаю следующую ошибку:
twisted.internet.error.ConnectionRefusedError: Connection was refused by other side
Вот robots.txt сайта, который я хочу очистить.Как это сделать в этом случае?