Я пытаюсь скачать обзоры магазинов приложений (чтобы потом проанализировать их).
Ссылка на observablehq - не стесняйтесь, чтобы получить ответ
Два вопроса:
1) Некоторые xml запросы ничего не возвращают (например, четвертая страница для Chase часто ничего не возвращает: xml запрос . Я что-то не так делаю? Кажется странным, что страницы 1,2, 3 и 5 возвращают результаты, а страница 4 - нет.
2) Как я могу наилучшим образом отфильтровать пустые страницы (например, как указано выше или когда я достигну конца)?
В моем Функция getResults?
//the below is iterated for all banks/pages
//calls the function copied further below
const response = await downloadReviews(BankAppIds[b].id, page);
const text = await response.text();
const dom = new DOMParser().parseFromString(text, "text/xml");
const reviews = dom.getElementsByTagName("entry");
или в функции downloadReviews?
function downloadReviews(bankId,page) {
var bankUrl = "https://itunes.apple.com/rss/customerreviews/page=" + page + "/sortby=mostrecent/id=" + bankId +"/xml"
var request = fetch(bankUrl);
return request
}
PS. Я также использовал их json api, но, похоже, он не возвращает метки времени. Спасибо