, пока я загружаю свой CSV-файл и получаю максимальное значение из столбца, получая java.io.IOException: (строка 1) недопустимый символ между инкапсулированным токеном и разделителем такого рода исключения
Мой искровой код:
DataFrame df = sqlContext.read()
.format("com.databricks.spark.csv")
.schema(FpType)
.option("header", "false")
.option("inferSchema", "true")
.option("delimiter", "|")
.load("E:/Input.csv")
DataFrame df1=df.groupBy("Col_1").agg(functions.max("Col_2").as("Col_2"));
df1.count().show();
Мой входной столбец содержит: "lab", "size": "shape" значение этого типа во входном столбце, поэтому возникает исключение при получении max Function