Сканирование и сохранение ссылок в определенном каталоге.здор`ово - PullRequest
Новая
       37

Сканирование и сохранение ссылок в определенном каталоге.здор`ово

0 голосов
/ 20 февраля 2019

У меня есть веб-сайт с несколькими страницами (http://www.europarl.europa.eu/sides/getDoc.do?type=PV&reference=20190131&secondRef=TOC&language=EN) Я просканировал каждую страницу и получил ссылки с минутами. Каждая ссылка с минутами имеет дату, после того как я создал папки с годами и месяцами, я застрял схранить файлы из ссылок.

Вопрос в том, как я могу скачать ссылки в каталоге за месяц? 

function crawlLink(link){

link = 'http://www.europarl.europa.eu'+link;

request(link, (error,response,
html) => {
if (!error && response.statusCode == 200) {
    const $ = cheerio.load(html);

    const docTitle = $('.doc_title' ) ;

    var str = docTitle.html();
    var date_str = str.replace(' - Brussels','').replace(' - Strasbourg', '');
    var date = new Date(date_str); 
    console.log("created new dateobj", date);

    var year = new Array('January','February', 'March' , 'April' , 'May' , 'June', 'July' ,'August','September','Oktober','November','December');

    var mm   = date.getMonth(); //January is 0
    var yyyy = date.getFullYear();
    var monthName = year[mm];

    var yearDir = './data/'+yyyy;
    if (!fs.existsSync(yearDir)){
        fs.mkdirSync(yearDir);
    }else{
        console.log('yearDir exists');

    }

    var monthDir = yearDir+'/'+monthName;
    if (!fs.existsSync(monthDir)){
        fs.mkdirSync(monthDir);
    }else{
        console.log('monthDir exists');
    }

    console.log("wouhu everything is fine, get links and download them to monthDir");
    let downloadLinks = [];
    let $links = $('.doc_formats_box a');
    $links.each(function(i, elem) {
      downloadLinks.push({
        title:$(this).text(),
        link:$(this).attr('href')
        });
    });

    console.log(downloadLinks);

`

...