Spark SQL читает CSV с разделителем пробела и игнорирует пробелы в скобках

Question

Я пытаюсь прочитать текстовый файл с такими строками:

a [b c] "d e" f

Этот код работает нормально, за исключением синтаксического анализа [b c], он разбивает b и c на отдельные столбцы. Есть ли способ игнорировать пропуски между ними?

display( spark.read.load(file_path, format="csv",sep = ' ', header="false"))

Answer 1

Пусть это расколется ... Я думаю, это не проблема. Вы можете попробовать это

import org.apache.spark.sql.functions.lit
df
.withColumn("timestamp", concat($"col1", lit(" "),$"col2"))
.withColumn("timestamp", $"timestamp".cast("date"))

, где col1 = 24 / сентябрь / 2014: 22: 25: 44 & col2 = + 0000