Уменьшение размеров с помощью Map уменьшить, используя распределенные вычисления?

Question

Знаете ли вы приложение или алгоритм для уменьшения размерности больших данных, возможно, используя Map-Reduce или другие api, а также:

• Знаете ли вы такие алгоритмы, как Singular Value decomposition чем может быть полезным для уменьшения размеров наборы данных

• как использовать распределенные вычисления для решить это ???

Answer 1

Посмотрите на Mahout , потому что там реализован SVD.

Answer 2

Помимо Mahout, вы должны взглянуть на SLEPc (который представляет собой набор инструментов, основанный на PETSc ) для решения задач на собственные значения для очень больших разреженных матриц. Он использует MPI, поэтому он будет работать на множестве различных параллельных и распределенных архитектур. Также есть Gensim , написанный на Python. Возможно, он не такой масштабируемый, как Mahout или SLEPc, но его гораздо проще использовать.