Я не могу собрать данные с веб-сайта, у которого нет файла robots.txt, в то время как сканер хорошо работает на других веб-сайтах с robots.txt,
Я не могу точно определить, что robots.txt проблема в файле или что-то еще
Ошибка:
похоже, что ни один поток не работает, ожидая 10 секунд, чтобы убедиться,