Я читаю таблицу.Один из столбцов содержит сжатые (двоичные) данные.Я распаковываю эти данные и храню в другом СДР.Выдает следующую ошибку:
Исключение в потоке "main" org.apache.spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 2.0 не выполнено 1 раз, последний сбой: потерянЗадача 0.0 на этапе 2.0 (TID 2, localhost, драйвер исполнителя): java.util.concurrent.ExecutionException: java.lang.Exception: не удалось скомпилировать: org.codehaus.commons.compiler.CompileException: файл «Генерируемый.java»,Строка 36, столбец 31: метод с именем "toString" не объявлен ни в каком классе, ни в каком-либо включающем классе, ни в каком-либо супертипе, ни через статический импорт
Код:
Dataset<Row> df = spark .read() .format("jdbc") .options(options)
.load().limit(10);
JavaRDD<ConfigObject>
configObjs=df.as(Encoders.bean(ConfigObject.class)).javaRDD();
JavaRDD<ConfigObjectResult> configObjsResult=configObjs.map(obj -> {
ConfigObjectResult confObjRes= new ConfigObjectResult();
confObjRes.setConfigID(obj.getConfigID());
confObjRes.setAgentVersion(obj.getAgentVersion());
confObjRes.setUncompressedDoc(Compressor.getInstance().
unCompressData(obj.getCompressedDoc()));
confObjRes.setCreationDate(obj.getCreationDate());
return confObjRes;
});