Асинхронный запрос Node.Js внутри Array.forEach не завершается до создания файла json - PullRequest
Новая
       6

Асинхронный запрос Node.Js внутри Array.forEach не завершается до создания файла json

0 голосов
/ 28 августа 2018

Я создаю веб-приложение Node.js, которое собирает текст описания задания с разных URL-адресов. В настоящее время у меня есть массив объектов задания с именами jobObj и , код циклически перебирает каждый URL-адрес. , делает запрос для html , загрузки с использованием модуля cheerio , затем, наконец, создает новый объект с ключами jobName и jobDesc и помещает его в новый массив объектов, который затем записывается как файл JSON ....

Все это в настоящее время работает, однако полнота написанного json-файла очень случайна и обычно содержит только одну полную учетную запись задания. Я думал, что это может быть связано с тем, что цикл forEach завершается намного быстрее, чем асинхронная функция запроса, что приводит к выполнению fs.writefile до завершения обратного вызова. Я добавил счетчик, чтобы отслеживать, на какой стадии находятся запросы, и записывать файл json только один раз. Counter === jobObj.length, но файл json еще не полностью завершен.

Я новичок в node.js, если кто-то может указать на мою ошибку, она будет очень признательна! 

var jobObj = [
{
id:1, 
url:"https://www.indeed.co.uk/cmp/Daffodil-IT/jobs/Lead-Junior-Website-Developer-59ea7d446bdf1253?q=Junior+Web+Developer&vjs=3",
}, 
{
id:2, 
url:"https://www.indeed.co.uk/cmp/Crush-Design/jobs/Middleweight-Web-Developer-541331b7885c03cf?q=Web+Developer&vjs=3",
},
{
id:3,
url:"https://www.indeed.co.uk/cmp/Monigold-Solutions/jobs/Graduate-Web-Software-Engineer-a5787dc322c0ca36?q=Web+Developer&vjs=3",
},
{
id:4,
url:"https://www.indeed.co.uk/cmp/ZOO-DIGITAL-GROUP-PLC/jobs/Web-Developer-5cdde1c3b0b7b8d0?q=Web+Developer&vjs=3",
},
{
id:5,
url:"https://www.indeed.co.uk/viewjob?jk=9cc3d8c637c41067&q=Web+Developer&l=Sheffield&tk=1cf5di52e9u0ocam&from=web&vjs=3",
}
];


app.get('/myform', function(req, res){

res.send("<h1>" + `scanning ${jobObj.length} urls for job description text` + "</h1>");
//make assign input form data to node "url" variable

//Compnonents for a request counter
var jobs = new Array;
function scrapeFinished(){console.log("all websites scraped!");};
var itemsProcessed = 0;   

jobObj.forEach(function(item){

    request(item.url, function(err, res, html){

        if(!err){

            var $ = cheerio.load(html);
            var newJob = new Object;
            $('#job_summary').each(function(){
                var data = $(this);
                var textout = data.text();
                newJob.jobDesc = textout;    
            });

            $('.jobtitle').each(function(){
                var data = $(this);
                var jobtitle = data.text();
                newJob.jobName = jobtitle;
            });

            jobs.push(newJob);
            itemsProcessed++;
            console.log(item.url + " scraped");  

            if(itemsProcessed === jobObj.length){
            scrapeFinished();

            fs.writeFile('output.json', JSON.stringify(jobs, null, "\t"), function(err){ 
            if(!err){console.log("output.json file written")}
            })
            }
        }      
    })           
})


})

И, наконец, это то, что я получаю fs.writefile

[
{},
{
    "jobDesc": "We are a successful design and digital agency that works with some great clients on a wide range of digital projects.We simply need more developers to join our great team to deliver even more great work.The projects we work on are all php based, typically built using WordPress, Laravel or flat html.We are seen as a premium agency because of the quality and complexity of the work we do.That means you will have to do more that just manipulate a theme - you will have to code. But you will be given the space, time and support to do so.We want you to be proud of the work you do, because the reputation of the agency need you to be.Key skills we will want you to bringCSS (CSS3) & HTMLAt least some knowledge of MySQL and JavaScript.At least some knowledge PHP (seniors will be tested)PhotoshopWhat you will want that we can giveA good place to work with a friendly teamA chance to develop your coding craftA decent range of projects to challenge yourselfA senior developer on hand to coach and adviseA successful company with an optimistic outlook, growth plans and a secure futureExactly how much experience you have can vary, but you must have some. And the more experience you have, the more we will pay you.We are based in offices we own in the centre of Chesterfield will two staff that do the short commute from Sheffield.If you think this job sounds interesting, we would love to hear from you, please apply!(though not agencies please)Job Type: Full-timeSalary: £22,000.00 to £30,000.00 /yearExperience:development: 2 years",
    "jobName": "Middleweight web developer"
},
{},
{},
{}
]

1 Ответ

0 голосов
/ 28 августа 2018

forEach выполняется в синхронном режиме , поэтому независимо от того, сколько времени уйдет на очистку веб-страницы, она не будет выполняться для следующего элемента массива. Что может вызвать проблемы, так это ваш код, возможно, помещает объект в массив перед тем, как очистить веб-страницу. Вот почему вы получаете пустой объект. Что вы делаете, это нажимаете объект после того, как ваша программа завершает посещение URL. Сделай что-то вроде этого 

 jobObj.forEach(function (item) {

    var newJob = new Object;
    request(item.url, function (err, res, html) {
        // Scrap URL and save values in newJob 
    });
            jobs.push(newJob);
});

если ваш код все еще выдвигает пустой объект до завершения запроса, тогда рассмотрите возможность использования модуля Async .

...