Как можно записать столбец в файл TSV, используя узел JS? - PullRequest
Новая
       40

Как можно записать столбец в файл TSV, используя узел JS?

0 голосов
/ 14 октября 2019

Я должен написать ответ JSON в столбце файла TSV, как я могу это сделать? Я использую следующий код. Пожалуйста, найдите мне решение? Я должен проверить это, но он не работает. 

//npm init -y  gen package.json file
var unProcessedItems = [];
var data = loadData('./Alabama_Pre_Final.tsv');

async function X(i) {
  if (data[i] && data[i][7]) {
    console.log(data[i][7]);

    function address(address_details) {
      request({
          url: 'https://us-extract.api.smartystreets.com/?auth-id=xxx&auth-token=xxx',
          method: 'POST',
          headers: {
              'content-type': 'application/json'
          },
          body: address_details,
      },
          (error, response, body) => {
              if (!error && response.statusCode == 200) {
                  var res = JSON.parse(body);
                  let objectArray = [];
                  if (res.addresses[0].verified) {
                      objectArray.push(res.addresses[0].api_output[0].delivery_line_1, res.addresses[0].api_output[0].last_line, res.addresses[0].api_output[0].delivery_point_barcode)
                  }
                  var address_data = objectArray.join([separator = ','])
                  console.log(address_data)
              }
          });
  }

  address("1000 Greenhill Blvd NW, Fort Payne, 35967, AL, USA");
  const data = 'Column 19\n1\t2\t3\n4\t5\t6';
  require('fs').writeFileSync('./Alabama_Pre_Final.tsv', data);

    //  i++;
    //  X(i);
  }
}
}

Ответы [ 3 ]

0 голосов
/ 15 октября 2019

Я посмотрел на ваш ответ выше, я думаю, что это должно быть достаточно легко изменить, чтобы он работал так, как вы ожидаете, я сделал это ниже. Другие функции следует оставить без изменений. Таким образом, функция X обрабатывает каждую строку, а затем возвращает переменную record , которую мы добавляем в массив записей. После завершения обработки мы записываем массив записей в CSV-файл. 

async function loadData(filePath) {
    if (fs.existsSync(filePath)) {
        var tsvData = fs.readFileSync(filePath, 'utf-8');
        var rowCount = 0;
        var scenarios = [];
        parse_tsv(tsvData, (row) => {
            rowCount++;
            if (rowCount > 1) {
                scenarios.push(row);
            }
        });
        return scenarios;
    } else {
        console.log("loadData: Returning empty..")
        return [];
    }
}

// Process a row of TSV data
function X(row) {
    return new Promise((resolve, reject) => {
        if (row && row[7]) {
            console.log(row[7]);
            request({
                url: 'https://us-extract.api.smartystreets.com/?auth-id=e62698e8-c3fc-b929-0f5b-d3b54d0bcd0c&auth-token=cibfMexBdl3HrmwbWY6p',
                method: 'POST',
                headers: { 'content-type': 'application/json' },
                body: row[7],
            },
                (error, response, body) => {
                if (!error && response.statusCode == 200) {
                    var res = JSON.parse(body);
                    let objectArray = [];
                    if (res.addresses[0].verified) {
                    objectArray.push(res.addresses[0].api_output[0].delivery_line_1, res.addresses[0].api_output[0].components.city_name,
                        res.addresses[0].api_output[0].components.zipcode, res.addresses[0].api_output[0].components.state_abbreviation)
                    }
                    var address_data = objectArray.join([separator = ','])
                    resolve({ name: address_data.replace(/['"]+/g, '') });
                } else if (error) { 
                    reject(error);
                } else {
                    reject( { statusCode: response.statusCode });
                }
            });
        }
    });
}

async function processData() {
    let MAX_RECORDS = 5; // Change as appropriate
    var data = await loadData('./Alabama_Pre_Final.tsv');
    if (data.length > 0) {
        unProcessedItems = [];
        let records = [];
        for(let row of data) {
            // Process a row of data.
            let record = await X(row);
            records.push(record);
            if (records.length === MAX_RECORDS) break;
        }
        console.log(records);
        csvWriter.writeRecords(records)
            .then(() => console.log('The CSV file was written successfully'));
    } else {
        console.log("No Data");
    }
}

processData();
0 голосов
/ 16 октября 2019 
const fs = require('fs');
const createCsvWriter = require('csv-writer').createObjectCsvWriter;
var rp = require('request-promise');
var dataToWrite;
var http = require("http");
var request = require('request');

function loadData(filePath) {
if (fs.existsSync(filePath)) {
var tsvData = fs.readFileSync(filePath, 'utf-8');
var rowCount = 0;
var scenarios = [];
parse_tsv(tsvData, (row) => {
rowCount++;
if (rowCount > 1) {
scenarios.push(row);
}
});
return scenarios;
} else {
return [];
}
}

function parse_tsv(s, f) {
var ix_end = 0;
for (var ix = 0; ix < s.length; ix = ix_end + 1) {
ix_end = s.indexOf('\n', ix);
if (ix_end == -1) {
ix_end = s.length;
}
//var row = s.substring(ix, ix_end - 1).split('\t');
var row = s.substring(ix, ix_end).split('\t');
f(row);
}
}

var unProcessedItems = [];
var data = loadData('./Alabama_Pre_Final.tsv');
var records = [];
async function X(i) {
    if (data[i] && data[i][7]) {
        console.log(data[i][7]);

      var options = {
        method: 'POST',
        url: 'https://us-extract.api.smartystreets.com/?auth-id=c64de073-9531-9444-35e6-7204d9d62c36&auth-token=e5FxYc1niUD7Cp0peixd',
        headers: {
          'content-type': 'application/json'
        },
        body: data[i][7],
        json: true // Automatically stringifies the body to JSON
      };
      rp(options)
        .then(function (parsedBody) {
          // POST succeeded...
          var res = parsedBody;
          let objectArray = [];
          if (res.addresses.length) {
            if (res.addresses[0].verified) {
              objectArray.push(res.addresses[0].api_output[0].delivery_line_1, res.addresses[0].api_output[0].components.city_name,
                res.addresses[0].api_output[0].components.zipcode, res.addresses[0].api_output[0].components.state_abbreviation)
            }
            var address_data = objectArray.join([separator = ','])
            console.log(address_data)
            // records.push({ name: address_data.replace(/['"]+/g, '') });
            const ADDRESS_COLUMN_INDEX = 7;
            for(let row of address_data) {
                row[ADDRESS_COLUMN_INDEX] = await X(row[ADDRESS_COLUMN_INDEX]);
            }
            records.push(address_data.replace(/['"]+/g, ''));
            let output = records.map(row => row.join("\t")).join("\n");           
            i++;
            if (i <= 7) {
              X(i);
            } 
            else {
             fs.writeFileSync('out.tsv', output);
              console.log('The TSV file was written successfully');
              // return callback(records);
            }
          }
        });
    }
    // console.log(records);
  }
  if (data.length > 0) {
    unProcessedItems = [];
    X(0);
  } else {
    console.log("No Data");
  }
0 голосов
/ 14 октября 2019

Я обновил этот ответ на основе ваших последних изменений, надеюсь, это поможет вам: 

function loadData(filePath) {
    if (fs.existsSync(filePath)) {
        var tsvData = fs.readFileSync(filePath, 'utf-8');
        var rowCount = 0;
        var scenarios = [];
        parse_tsv(tsvData, (row) => {
            rowCount++;
            if (rowCount > 1) {
                scenarios.push(row);
            }
        });
        return scenarios;
    } else {
        return [];
    }
}

function parse_tsv(s, f) {
    var ix_end = 0;
    for (var ix = 0; ix < s.length; ix = ix_end + 1) {
        ix_end = s.indexOf('\n', ix);
        if (ix_end == -1) {
            ix_end = s.length;
        }
        var row = s.substring(ix, ix_end).split('\t');
        f(row);
    }
}

var unProcessedItems = [];
var data = loadData('./Alabama_Pre_Final.tsv');
var records = [];
async function X(i) {
    if (data[i] && data[i][7]) {
        console.log(data[i][7]);

    var options = {
        method: 'POST',
        url: 'https://us-extract.api.smartystreets.com/?auth-id=c64de073-9531-9444-35e6-7204d9d62c36&auth-token=e5FxYc1niUD7Cp0peixd',
        headers: {
        'content-type': 'application/json'
        },
        body: data[i][7],
        json: true // Automatically stringifies the body to JSON
    };
    rp(options)
        .then(async function (parsedBody) {
            // POST succeeded...
            var res = parsedBody;
            let objectArray = [];
            if (res.addresses.length) {
                if (res.addresses[0].verified) {
                    objectArray.push(res.addresses[0].api_output[0].delivery_line_1, res.addresses[0].api_output[0].components.city_name,
                        res.addresses[0].api_output[0].components.zipcode, res.addresses[0].api_output[0].components.state_abbreviation)
                }
                var address_data = objectArray.join([separator = ','])
                console.log("rp.then -> address_data:",address_data);
                data[i][7] = address_data.replace(/['"]+/g, '');
                records.push(data[i].join("\t"));         
                i++;
                if (i <= 7) {
                    console.log("Looking up address #" + i);
                    X(i);
                } else {
                    const output = records.join("\n");  
                    // Remove the _test when you are happy with the result.
                    fs.writeFileSync('./Alabama_Pre_Final_test.tsv', output);
                    console.log('The TSV file was written successfully');
                }
            }
        });
    }
}
if (data.length > 0) {
    unProcessedItems = [];
    X(0);
} else {
    console.log("No Data");
}
...