Нахождение корреляции Пирсона для миллионов записей - PullRequest
0 голосов
/ 04 февраля 2020

Я выполняю задачу НЛП, где у меня есть распределение встречаемости слов в текстах, сгруппированных по дням. Я хочу найти корреляцию Пирсона между данным словом и всеми другими словами в базе данных. Возможно ли какое-то алгоритмическое c решение, вместо того, чтобы просто вручную перебирать все другие слова в базе данных и вычислять корреляцию. Может быть что-то делать с графиками?

1 Ответ

0 голосов
/ 04 февраля 2020

Вы можете использовать numpy или pandas (векторизованная версия вместо перебора всех записей).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...