Я хочу автоматизировать загрузку файлов CSV с веб-сайта - PullRequest
0 голосов
/ 03 августа 2020

Это ссылка на веб-сайт.

https://data.gov.in/catalog/district-wise-and-month-wise-queries-farmers-kisan-call-centre-kcc-during-2020?filters%5Bfield_catalog_reference%5D=6752810&format=json&offset=0&limit=6&sort%5Bcreated%5D=desc

На странице несколько файлов, и для каждого файла есть кнопка «Экспорт CSV» . Он также просит вас заполнить форму, прежде чем вы сможете каждый раз загружать файлы. Я бы предпочел использовать node js, так как у меня есть некоторый опыт работы с Js, но я не делал никаких проектов в Nodejs. Какой подход я могу использовать?

Изменить: я также был бы признателен за любые ссылки на любые статьи, которые находятся в аналогичных строках.

1 Ответ

0 голосов
/ 03 августа 2020

Вы можете использовать Puppeteer https://github.com/puppeteer/puppeteer. См. Один пример здесь: https://levelup.gitconnected.com/building-a-scheduled-news-crawler-with-puppeteer-d02a7919bdbe Введите в Google поиск «веб-скрапинг», «веб-скрапинг с помощью Puppeteer»

...