Как сохранить фактическое имя / * URL *?

Question

Я конвертирую скрипт в HDFS (Hadoop) и у меня есть этот cmd:

    tail -n+$indexedPlus1 $seedsDir/*url* | head -n$it_size > $it_seedsDir/urls

С HDFS мне нужно получить файл с помощью -get, и это работает.

bin/hadoop dfs -get $seedsDir/*url* .

Однако я не знаю, как называется загруженный файл, не говоря уже о том, что я хотел сохранить в $ local_seedsDir / url . Могу я узнать?

KISS говорит мне:

bin/hadoop dfs -get $seedsDir/*url* $local_seedsDir/urls

т.е. просто назовите файл как URL локально.

Answer 1

url=`echo bin/hadoop dfs -get urls-input/MR6/*url* .`

затем хвост и голова, чтобы извлечь из URL фактическое имя файла и сохранить его в $ urls

rm $urls

Но в остальном, просто KISS