Ошибка получения файла из-за escape-символа - PullRequest
Новая
       27

Ошибка получения файла из-за escape-символа

0 голосов
/ 08 октября 2018

Я пытаюсь выполнить приведенную ниже команду spark-shell в терминале Linux через код Java. 

echo spark.sparkContext.parallelize\(1 to 3,3\).map\(x => \
(x,\"city_\"+x\)\).toDF\(\"num",\"city\"\).write.partitionBy\(\"num\"\).mode\
(SaveMode.Overwrite\).parquet\(\"/tmp/abinash\"\) | /opt/ab/cd/de/spark-shell

Но появляется сообщение «Нет такого файла или каталога» для / tmp / abinash, даже если файл существует

Я пытался решить так много способов.Но не получил никакого успеха.Я предполагаю, что есть проблема с escape-символом.

Может кто-нибудь помочь мне с этим, что я делаю здесь неправильно.

1 Ответ

0 голосов
/ 08 октября 2018

Попробуйте это. 

> echo "spark.sparkContext.parallelize(1 to 3,3).map(x => (x,\"city_\"+x)).toDF(\"num\",\"city\").write.partitionBy(\"num\").mode(SaveMode.Overwrite).parquet(\"/tmp/abinash\")"
spark.sparkContext.parallelize(1 to 3,3).map(x => (x,"city_"+x)).toDF("num","city").write.partitionBy("num").mode(SaveMode.Overwrite).parquet("/tmp/abinash")
...