Анализ главных компонентов в кластере с помощью MPI

Question

Я настраиваю набор компьютеров для запуска математических программ поверх MPI.Знаете ли вы, существует ли какая-либо библиотека, выполняющая анализ основных компонентов с использованием MPI, чтобы использовать все ресурсы сетевых устройств?Я посмотрю на Скалапак, но знаете ли вы другие библиотеки?Мой язык - C ++ в Linux, но если есть хорошая библиотека для Windows - то же самое.

Answer 1

PCA - это относительно дешевая операция, поэтому ваше отношение связи (получение данных к узлам) относительно вычислений (фактическая операция, в данном случае PCA), вероятно, будет относительно низким.

Это означает, что кластеризация не может быть хорошим решением для этой конкретной проблемы.

Более того, PCA - это действительно операция линейной алгебры, поэтому вам лучше взглянуть на оптимизированные BLAS, такие как ATLAS, Goto, MKL, ... которые (в наши дни) могут использовать несколько ядер, что дает вам неявный параллелизм , который проще в использовании, чем явный параллелизм с использованием MPI.

Не поймите меня неправильно - мне очень нравится MPI (и у меня есть несколько уроков здесь при использовании его с R ), но вы должны помнить, что не все инструменты подходят для всех проблем.