Конечно, вы можете скопировать свой файл данных каждому работнику или иным образом поместить его в место, которое видят все работники (NFS или облачное хранилище, такое как S3). Если вы выберете копирование в локальное хранилище каждого работника, то все, что вам нужно сделать, это убедиться, что он имеет одинаковый путь везде (включая ваш клиентский компьютер), а затем вы можете использовать стандартный dd.read_parquet
. Если он у вас находится в разных местах, вам придется создать специальную функцию для его чтения.