Как DASK реализован на нескольких системах?

Question

Я новичок в библиотеке Dask. Я хотел бы знать, реализуем ли мы параллельные вычисления с использованием dask в двух системах, тогда хранится ли кадр данных, к которому мы применяем вычисления, в обеих системах? Как на самом деле происходит параллельное вычисление, не ясно из документации.

Answer 1

Фреймы данных Dask разбиты на фрагменты, поэтому в общем случае у вас есть один большой фрейм данных, состоящий из меньших фреймов данных, распределенных по кластеру. Вычисления применяются к каждому чанку индивидуально с перемешиванием результатов, где это необходимо (например, групповые, суммированные и другие совокупные задачи).