pyspark читать текстовый файл с многострочным столбцом - PullRequest
Новая
       58

pyspark читать текстовый файл с многострочным столбцом

1 голос
/ 26 апреля 2020

У меня есть следующий плохо отформатированный текстовый файл: 

id;text;contact_id
1;Reason contact\
\
The client was not satisfied about the quality of the product\
\
;c_102932131

Я пытаюсь загрузить файл, используя pyspark, используя: 

df = sc.read\
.option("delimiter", ";")\
.option("header", "true")\
.option("inferSchema", "true")\
.option("multiLine", "true")\
.option("wholeFile", "true")\
.csv(os.path.join(appconfig.configs[appconfig.ENV]["ROOT_DIR"], "data", "input", file_name))

Но текст столбца усекается, так как датафрейм: 

id|text|contact_id
1|Reason contact|null
null|null|c_102932131

Так я теряю все остальные строки. Цель состоит в том, чтобы правильно прочитать файл следующим образом: 

id|text|contact_id
1|Reason contact The client was satisfied not about the quality of the product|c_102932131

Как я могу это сделать? Спасибо

1 Ответ

1 голос
/ 26 апреля 2020

Используйте .wholeTextFiles, а затем замените new line (\n) и \, наконец, создайте df.

Example:

Spark-Scala:

sc.wholeTextFiles("<file_path>").
toDF().
selectExpr("""split(replace(regexp_replace(_2,"[\\\\|\n]",""),"id;text;contact_id",""),";") as new""").
withColumn("id",col("new")(0)).
withColumn("text",col("new")(1)).
withColumn("contact_id",col("new")(2)).
drop("new").
show(false)
//+---+---------------------------------------------------------------------------+-----------+
//|id |text                                                                       |contact_id |
//+---+---------------------------------------------------------------------------+-----------+
//|1  |Reason contactThe client was not satisfied about the quality of the product|c_102932131|
//+---+---------------------------------------------------------------------------+-----------+

Pyspark:

from pyspark.sql.functions import *

sc.wholeTextFiles("<file_path>").\
toDF().\
selectExpr("""split(replace(regexp_replace(_2,'[\\\\\\\\|\n]',''),"id;text;contact_id",""),";") as new""").\
withColumn("id",col("new")[0]).\
withColumn("text",col("new")[1]).\
withColumn("contact_id",col("new")[2]).\
drop("new").\
show(10,False)
#+---+---------------------------------------------------------------------------+-----------+
#|id |text                                                                       |contact_id |
#+---+---------------------------------------------------------------------------+-----------+
#|1  |Reason contactThe client was not satisfied about the quality of the product|c_102932131|
#+---+---------------------------------------------------------------------------+-----------+
...