Пытался понять основы Web Scraping и успешно делал это с Python. При попытке эмулировать то же самое с Node получаю следующую ошибку:
UnhandledPromiseRejectionWarning: Ошибка: превышено максимальное количество перенаправлений.
Ниже приведен простой фрагмент кода, который я пытаюсь запустить с использованием узла scrape. js:
const axios = require('axios');
const url = 'https://www.somewebsite.com/auth/get_menu/?city_id=1';
const headers = {
'accept': '*/*',
'content-type': 'application/json',
'app_client': 'consumer_web'
};
axios.get(url, {
headers,
maxRedirects: 0
})
.then(resp => {
console.log(resp.body);
})
.catch(error => {
if (error.response) {
console.log(error.response.data);
console.log('---------------------------------------------');
console.log(error.response.status);
console.log('---------------------------------------------');
console.log(error.response.headers);
} else if (error.request) {
console.log(error.request);
} else {
// Something happened in setting up the request that triggered an Error
console.log('Error', error.message);
}
console.log(error.config);
});
ПРИМЕЧАНИЕ. Как указано в комментариях - URL с этими заголовками выполняет перенаправление 302 на /skip_explore/?c=1&n=/auth/get_menu/?city_id=1
, которое затем перенаправляет на /auth/get_menu/?city_id=1
, который теперь oop это длится вечно.
Пожалуйста, дайте мне знать, где я делаю это неправильно. Заранее спасибо.