поиск сниппета, который диагностирует производительность файловой системы с помощью dask

Question

Я хотел бы диагностировать производительность файловой системы при множественном доступе с помощью dask. Есть ли у кого-нибудь для этого фрагмент?

Контекст: работая на платформе HP C, мой системный администратор потребовал от меня перейти на новую файловую систему, и я подозреваю, что ее производительность довольно низкая. Мой рабочий процесс включает распределенную обработку файлов dask, netcdf и zarr.

Answer 1

Я бы использовал стандартные методы профилирования и поискал бы такие операции файловой системы, как file.read или file.open. Распределенный профилировщик dask может немного помочь здесь.