В следующих работах была проведена творческая работа в области распределенного машинного обучения.Я хочу знать, как рассчитать стоимость связи и соотношение нагрузки.
[1] J. Chen et al.Двухслойная параллельная обучающая архитектура для крупных сверточных нейронных сетей.Транзакции IEEE в параллельных и распределенных системах.2018.
В этом документе дан анализ обмена данными и балансировки рабочей нагрузки в разделе 5.4, а также показано сравнение передачи данных и балансировки рабочей нагрузки на рис. 15. Я не знаю, какую параллельную структуру используют бумаги, MPI или Spark.?
[2] J.Chen et al.Параллельный алгоритм случайного леса для больших данных в среде облачных вычислений Spark.Транзакции IEEE для параллельных и распределенных систем, 2017.
В этом документе приводится анализ баланса ресурсов и рабочей нагрузки в разделе 4.3.4, но не приводится количественный баланс рабочей нагрузки для конкретного набора данных.В документе представлен анализ анализа передачи данных в разделе 4.3.3, а также представлены затраты на передачу данных на рис. 15.
У меня следующие вопросы:
(1) как вычислить передачу данныхСоотношение затрат и баланса рабочей нагрузки в кластере искры?
(2) Как рассчитать соотношение затрат на передачу данных и баланса рабочей нагрузки в кластере MPI?
(3), какую параллельную платформу делает документ «A Bi»?использование параллельной обучающей архитектуры для больших сверточных нейронных сетей?