Как загрузить файл на рабочий с распределенным планировщиком?

Question

Я настраиваю вручную dask-планировщик и dask-рабочий. Они видят друг друга в отношении бревен.

У меня большой файл, расположенный на том же компьютере, что и планировщик (где тоже работает мой ноутбук jupyter).

Но когда я загружаю свой файл с dd.read_csv, у меня появляется общая ошибка No such a file or directory.

Я понимаю проблему локальности данных, но как я могу прозрачно отправить свой файл в кластер?

Я не могу найти (или понять?) В документацию или локальность данных

Answer 1

Вы можете загрузить файл в свою записную книжку как объект Python (например, информационный фрейм pandas или массив numpy), а затем разослать его рабочим. Вы также можете посмотреть на метод Client.upload_file.