Храните большую паркетную пилку на рабочих - PullRequest
1 голос
/ 07 мая 2020

У меня большой напильник паркета. Сейчас раскидываю по своим рабочим. Эта паркетная пилка у меня не часто меняется. Могу я просто скопировать его своим работникам и как-нибудь сослаться на него? Я хотел бы просто скопировать этот паркетный файл всем своим работникам, а потом каким-нибудь образом получить для него будущее.

1 Ответ

1 голос
/ 07 мая 2020

Конечно, вы можете скопировать свой файл данных каждому работнику или иным образом поместить его в место, которое видят все работники (NFS или облачное хранилище, такое как S3). Если вы выберете копирование в локальное хранилище каждого работника, то все, что вам нужно сделать, это убедиться, что он имеет одинаковый путь везде (включая ваш клиентский компьютер), а затем вы можете использовать стандартный dd.read_parquet. Если он у вас находится в разных местах, вам придется создать специальную функцию для его чтения.

...