Используйте sed с hdfs ls, чтобы оптимизировать работу

Question

Я пытаюсь оптимизировать мой код, используя sed в той же строке, что и hdfs ls, но ошибка наступает.

hdfs dfs -ls $ HDFS_RAW_DIR / MI C >> $ PATH / note.txt | sed -i '1d' PATH / note.txt

Этот мой код, показывающий ошибку, может быть, есть способ использовать в той же строке

Answer 1

Ваша строка на самом деле не имеет смысла

hdfs dfs -ls $HDFS_RAW_DIR/MIC >> $PATH/note.txt 

добавит вывод hdfs dfs -ls $HDFS_RAW_DIR/MIC в конец файла $PATH/note.txt. Стандартный вывод, передаваемый в канал, будет пустым.

sed -i '1d' PATH/note.txt

обработает файл, но вы забыли $

Другая проблема в том, что $PATH является зарезервированной переменной, содержащейся список каталогов, где оболочка ищет двоичные файлы.

Подводя итог:

hdfs dfs -ls $HDFS_RAW_DIR/MIC >> $MY_PATH/note.txt ;  sed -i '1d' $MY_PATH/note.txt