Пользовательский текстовый файл с разделителями из dataframe - PullRequest
Новая
       33

Пользовательский текстовый файл с разделителями из dataframe

0 голосов
/ 01 марта 2019

Я использую spark 1.6 и пытаюсь создать файл с разделителями из фрейма данных.

Разделителем полей является '| ^', поэтому я объединяю столбцы из фрейма данных при выборе из временноготаблица

Теперь приведенный ниже код завершается ошибкой каждый раз с этой ошибкой 

ERROR scheduler.TaskSetManager: Task 172 in stage 9.0 failed 4 times; aborting job
19/03/01 09:10:15 ERROR datasources.InsertIntoHadoopFsRelation: Aborting job.
org.apache.spark.SparkException: Job aborted due to stage failure: Task 172 in stage 9.0 failed 4 times, most recent failure: Lost task 172.3 in stage 9.0 (TID 1397, tplhc01d104.iuser.iroot.adidom.com, executor 7): org.apache.spark.SparkException: Task failed while writing rows.
        at org.apache.spark.sql.execution.datasources.DefaultWriterContainer.writeRows(WriterContainer.scala:272

Код, который я использую, это .. 

tempDF.registerTempTable("BNUC_TEMP")

context.sql("select concat('VALID','|^', RECORD_ID,'|^', DATA_COL1,'|^', DATA_COL2,'|^','P','|^', DATA_COL4,'|^', DATA_COL5,'|^', DATA_COL6,'GBP','|^',from_unixtime(unix_timestamp( ACTION_DATE)),'|^',from_unixtime(unix_timestamp( UPDATED_DATE))) from BNUC_TEMP")
.write.mode("overwrite")
.text("/user/USERNAME/landing/staging/BNU/temp/")
...