Я пытаюсь почистить сайт "https://shmoti.com" . Но, к сожалению, метод fetch node-fetch совсем не получает ответ. Отлично работает на других сайтах.
Вот мой код
const fetch = require("node-fetch")
fetch('https://shmoti.com', options = {headers : {'User-Agent' : 'Mozilla/5.0'}}).then(res=>res.text()).then(res=>console.log(res))
Первое обещание, которое разрешает объект ответа, все время находится в состоянии ожидания.
Я даже пытался использовать User-Agent. Я установил тайм-аут 60 секунд.
Я могу успешно очистить этот сайт, используя библиотеку scrapy в python, но с помощью метода fetch он всегда отключается.
Почему это происходит? Как я могу это исправить ?
Я могу проверить связь с сайтом и открыть его в браузере, но не работает только выборка с узла.