Как обработать это исключение в Spark Java - PullRequest
0 голосов
/ 05 марта 2019

, пока я загружаю свой CSV-файл и получаю максимальное значение из столбца, получая java.io.IOException: (строка 1) недопустимый символ между инкапсулированным токеном и разделителем такого рода исключения

Мой искровой код:

DataFrame df = sqlContext.read()
                                .format("com.databricks.spark.csv")
                                .schema(FpType)
                                .option("header", "false")
                                .option("inferSchema", "true")
                                .option("delimiter", "|")
                                .load("E:/Input.csv")
DataFrame df1=df.groupBy("Col_1").agg(functions.max("Col_2").as("Col_2"));
df1.count().show();

Мой входной столбец содержит: "lab", "size": "shape" значение этого типа во входном столбце, поэтому возникает исключение при получении max Function

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...