Я использую функцию Sparklyr
spark_read_csv
для анализа файла CSV в Spark.
У меня есть файл CSV, но некоторые столбцы имеют запятую в качестве значения, и они разделяются кавычками:
Вот снимок моих данных:
100005870186,B,C,01NOV05,1,0,1,0,23,5.5,217876.2,1,"BANK OF AMERICA, N.A.",5.5,"223,000.00",
Как вы можете себе представить, если я использую spark_read_csv()
для чтения, а запятая рассматривается как разделитель, "BANK OF AMERICA, N.A."
будетразбирается на два поля, так что "223,000.00".
Есть ли способ разобрать это правильно?