Я новичок в использовании #dask для анализа данных. У меня есть несколько вопросов о том, как работает #dask внутри. например, как он выполняет ввод / вывод? как в HDF5, это параллельно HDF5 в рабочих или еще где-то делается?
Как правило, есть два этапа для вычисления чего-либо в Dask:
построение графика операций, который будет включать проверку файла (ов) со стороны клиента, чтобы определить количество входов, фрагментов, типов данных и т.д. 1011 *
Основная часть операций ввода-вывода происходит в воркерах.
То, что именно происходит с вами в ваших вычислениях, будет зависеть от того, что вы делаете, и от данных, с которыми вы работаете. Обратите внимание, что некоторые форматы файлов более доступны в параллельных или облачных / распределенных системах.