Можем ли мы достичь такого же вычислительного масштабирования с тензорным потоком, как и с MPI?

Question

причина, по которой я задаю этот вопрос, заключается в том, что я видел код в Интернете, где люди используют MPI для распределенных вычислений, чтобы масштабировать свои вычислительные модели. Что я не могу обернуть головой, так это то, что большинство примеров, на которые я ссылаюсь, написаны в тензорном потоке. Теперь, учитывая, что тензор потока уже реализует mpi и gRPC, вопрос, который я задаю, состоит в том, можем ли мы достичь тех же результатов исключительно с тензорным потоком вместо использования MPI?

Другими словами, какие плюсы и минусы по сравнению с MPI против TF?

Заранее спасибо!

Answer 1

TF - это среда машинного обучения, а MPI - это библиотека для передачи сообщений. Параллельный TF построен поверх MPI (TF не является реализацией MPI)

Итог, вы не можете сравнивать яблоки и апельсины, а также MPI и TF.