У меня есть некоторые проблемы с моим сценарием. Я хочу скопировать из hdfs в локальный файл каждый файл csv и удалить все остальные
запуск этого на локальном компьютере будет
find /Navigation -not -name '*.csv' -not -path /Navigation -exec rm -vr {} \;
cp -r $PATH_HDFS_CAMPAGNE_MARKETING /data/logs/bi_extract_nav/
Это прекрасно работает для меня
Я пытался
hdfs dfs -find /datalake/data/projects/marketing/campagnes -not -name '*.csv' -not -path /datalake/data/projects/marketing/campagnes -exec hdfs dfs -rm -vr {} \;
hdfs dfs -copyToLocal $PATH_HDFS_CAMPAGNE_MARKETING /data/logs/bi_extract_nav/
Но это не работает
run_spark_yarn
hdfs dfs -find /datalake/data/projects/marketing/campagnes -not -name '*.csv' -not -path /datalake/data/projects/marketing/campagnes -exec hdfs dfs -rm -vr {} \;
hdfs dfs -copyToLocal $PATH_HDFS_CAMPAGNE_MARKETING /data/logs/bi_extract_nav/
else
PATH_HDFS_CAMPAGNE_MARKETING=/Navigation/
run_spark_local
find /Navigation -not -name '*.csv' -not -path /Navigation -exec rm -vr {} \;
cp -r $PATH_HDFS_CAMPAGNE_MARKETING /data/logs/bi_extract_nav/