Как разобрать CSV-файл с запятой в некоторых полях - PullRequest
0 голосов
/ 09 июля 2019

Я использую функцию Sparklyr spark_read_csv для анализа файла CSV в Spark.

У меня есть файл CSV, но некоторые столбцы имеют запятую в качестве значения, и они разделяются кавычками:

Вот снимок моих данных:

100005870186,B,C,01NOV05,1,0,1,0,23,5.5,217876.2,1,"BANK OF AMERICA, N.A.",5.5,"223,000.00",

Как вы можете себе представить, если я использую spark_read_csv() для чтения, а запятая рассматривается как разделитель, "BANK OF AMERICA, N.A." будетразбирается на два поля, так что "223,000.00". Есть ли способ разобрать это правильно?

...