Я столкнулся с проблемой, пытаясь отобразить некоторые строки в файлах внутри сценария оболочки.
Я вызываю сценарий оболочки с помощью команды rdd.pipe () pyspark / spark, и я проверил, чтобы убедиться, что ввод поступает путем повторения каждой строки в сценарии оболочки.
Вот код сценария оболочки:
#!/bin/sh
while read -r one; do
read -r two
read -r three
read -r four
read -r five
read -r six
read -r seven
read -r eight
echo -e "$one\n$two\n$three\n$four\n" >> 1.txt
echo -e "$five\n$six\n$seven\n$eight\n" >> 2.txt
done
Я выполнил команду echo БЕЗ передачи в файл, и это показалось в выводе обратно в мою искровую программу. Входные данные для сценария оболочки - это просто строки. У кого-нибудь есть идеи, почему 1.txt и 2.txt не записываются?