В настоящее время я разрабатываю инструментарий машинного обучения для кластеров графических процессоров.Я проверил классификатор логистической регрессии на нескольких графических процессорах.
Я использую подход Master-Worker, когда главный процессор создает несколько потоков POSIX, а матрицы разделяются между графическими процессорами.
Но проблема, которую яесть, как хранить большие матрицы, которые не могут быть сохранены на одной машине.Существуют ли какие-либо библиотеки или подходы для обмена данными между узлами?