Я пытаюсь обновить поле в наборе данных Spark. Кажется, я могу понять, как правильно понять синтаксис. Используя строку. только вернет мне правильный столбец данных в наборе данных. Но я хочу вычислить некоторые данные для каждой строки.
Wanted result
|Column1|data|signal|
|name | 12,3 | 0 |
|name | 15,0 | 0 |
processing row 1 and 2
if row2.data > row1.data
row2.signal = 1
Dataset<Integer> years = csvWithColumn.map((MapFunction<Row, Integer>) row -> {
int i= row.<Integer>getAs("signal"), Encoders.INT();
return i+5;
});