Как проверить наличие пар слов в строке? - PullRequest
Новая
       42

Как проверить наличие пар слов в строке?

0 голосов
/ 09 марта 2019

У меня есть код ниже, который отлично работает при создании CSV-списка слов вхождения в строку (массивный файл .txt), который выглядит следующим образом: 

Name;Total
THE;23562
OF;15954
AND;15318
IN;12159
TO;11879
A;11145
I;6135
WAS;6045
etc...

Теперь мне нужны пары слов из двух, а может даже и трех, если это окажется достаточно просто. Так что-то вроде 

Name;Total
OF THE;25
FROM THE;20
BY WHICH;13
OF WHICH;5
etc...

Как я могу изменить свой существующий код для проверки пар вместо отдельных слов? 

//chrisjopa.com/2016/04/21/counting-word-frequencies-with-javascript/

var fs = require('fs');
var file = 'INPUT.txt';

//Create Headers for the CSV File
const createCsvWriter = require('csv-writer').createObjectCsvWriter;  
const csvWriter = createCsvWriter({  

//Define Pathname to your choice
  path: 'Data1.csv',
  header: [
    {id: 'name', title: 'Name'},
    {id: 'total', title: 'Total'},
  ]
});

// read file from current directory
fs.readFile(file, 'utf8', function (err, data) {

  if (err) throw err;

  var wordsArray = splitByWords(data);
  var wordsMap = createWordMap(wordsArray);
  var finalWordsArray = sortByCount(wordsMap);

//Write CSV Output File
  csvWriter  
  .writeRecords(finalWordsArray)
  .then(()=> console.log('DONE'));

});


function splitByWords (text) {

  // Removes all special characters, then white spaces, 
  //then converts to all capital letters, then splits the words
  var noPunctuation = text.replace(/[\.,-\/#!$%\^&\*;:{}�=\-_'`’~"()@\+\?><\[\]\+]/g, '');
  var noExtraSpaces = noPunctuation.replace(/\s{2,}/g," ");
  var allUpperCase  = noExtraSpaces.toUpperCase();
  var wordsArray    = allUpperCase.split(/\s+/);
  return wordsArray;
}

//This is the part in the code that I feel is the place to check for word 
//pairs, but I'm not sure how I'm supposed to write it.
function createWordMap (wordsArray, ) {

  // create map for word counts
  var wordsMap = {};

  wordsArray.forEach(function (key) {
    if (wordsMap.hasOwnProperty(key)) {
      wordsMap[key]++;
    } else {
      wordsMap[key] = 1;
    }
  });

  return wordsMap;

}


function sortByCount (wordsMap) {

  // sort by count in descending order
  var finalWordsArray = [];
  finalWordsArray = Object.keys(wordsMap).map(function(key) {
    return {

      name: key,
      total: wordsMap[key]

    };
  });

  finalWordsArray.sort(function(a, b) {
    return b.total - a.total;
  });

  return finalWordsArray;

}

1 Ответ

0 голосов
/ 09 марта 2019

Из wordsArray создайте другой массив, который объединит каждую пару слов. Например, из wordsArray из 

['Foo', 'Bar', 'Baz', 'Buzz']

создать: 

['Foo Bar', 'Bar Baz', 'Baz Buzz']

Затем вы можете использовать точно такую ​​же функцию , вам уже нужно подсчитать количество вхождений каждой пары - просто вызовите createWordMap с ней (а затем sortByCount). Например: 

const wordsArray = ['Foo', 'Bar', 'Baz', 'Buzz', 'Foo', 'Bar'];
const wordPairsArray = [];
for (let i = 1; i < wordsArray.length; i++) {
  wordPairsArray.push(wordsArray[i - 1] + ' ' + wordsArray[i]);
}
const wordPairMap = createWordMap(wordPairsArray);
const wordPairCount = sortByCount(wordPairMap);
console.log(wordPairCount);


// the following is your original code:
function createWordMap(wordsArray, ) {
  // create map for word counts
  var wordsMap = {};
  wordsArray.forEach(function(key) {
    if (wordsMap.hasOwnProperty(key)) {
      wordsMap[key]++;
    } else {
      wordsMap[key] = 1;
    }
  });
  return wordsMap;
}
function sortByCount(wordsMap) {
  // sort by count in descending order
  var finalWordsArray = [];
  finalWordsArray = Object.keys(wordsMap).map(function(key) {
    return {
      name: key,
      total: wordsMap[key]

    };
  });
  finalWordsArray.sort(function(a, b) {
    return b.total - a.total;
  });
  return finalWordsArray;
}

Чтобы расширить это не только на пары, просто измените цикл, чтобы объединить динамическое число элементов: 

function combineWords(words, wordsInItem) {
  const items = [];
  for (let i = wordsInItem - 1; i < words.length; i++) {
    const start = i - (wordsInItem - 1);
    const end = i + 1;
    items.push(words.slice(start, end).join(' '));
  }
  return items;
}
function getCount(words, wordsInItem) {
  const combinedWords = combineWords(words, wordsInItem);
  const map = createWordMap(combinedWords);
  const count = sortByCount(map);
  console.log(count);
}

getCount(['Foo', 'Bar', 'Baz', 'Buzz', 'Foo', 'Bar'], 2);
getCount(['Foo', 'Bar', 'Baz', 'Buzz', 'Foo', 'Bar', 'Baz'], 3);





// the following is your original code:
function createWordMap(wordsArray, ) {
  // create map for word counts
  var wordsMap = {};
  wordsArray.forEach(function(key) {
    if (wordsMap.hasOwnProperty(key)) {
      wordsMap[key]++;
    } else {
      wordsMap[key] = 1;
    }
  });
  return wordsMap;
}
function sortByCount(wordsMap) {
  // sort by count in descending order
  var finalWordsArray = [];
  finalWordsArray = Object.keys(wordsMap).map(function(key) {
    return {
      name: key,
      total: wordsMap[key]

    };
  });
  finalWordsArray.sort(function(a, b) {
    return b.total - a.total;
  });
  return finalWordsArray;
}
...