Есть ли способ вызвать "hadoop cp / distcp" из python, кроме subprocess.Open? - PullRequest
0 голосов
/ 20 сентября 2019

Мне нужно периодически перемещать файлы из локального кластера в GCP и обратно, используя python.

Хотя hdfs кажется мне подходящим для обнаружения структуры каталогов, я обнаружил, что она не предоставляет опцию "копирования" ( ограничения WebHDFS , насколько это возможно).как я понимаю).

Прежде чем перейти к варианту с subprocess.Open, есть ли альтернатива (например, некоторый Python API) для копирования файлов из одного места в другое?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...