Как загрузить CSV-файл У меня есть два пользователя CSV-файла и твиты. Где в таблице твитов я разделил запись на ',' Но в поле твита между двумя кавычками есть так много запятых, что я не получаю правильный вывод или учебникdata
Так какой же правильный код в Scala?
Я просто загружаю файл, используя textfile, а затем использую функцию регулярного выражения val fields = line.split (", (? = (?: [^ \"] \ "[^ \"] \ ") [^ \ "] $)") и все заработало .. Спасибо !!
Вы можете прочитать Tweet файл с несколькими , внутри "" в одном поле.
,
""
val data = spark.read.option("header", true).option("delimiter", ",") .option("inferSchema", true).csv("Tweet.csv")