Обновить значение поля в столбце с помощью Spark - PullRequest
0 голосов
/ 06 ноября 2019

Я пытаюсь обновить поле в наборе данных Spark. Кажется, я могу понять, как правильно понять синтаксис. Используя строку. только вернет мне правильный столбец данных в наборе данных. Но я хочу вычислить некоторые данные для каждой строки.

Wanted result
|Column1|data|signal|
|name | 12,3 | 0 |
|name | 15,0 | 0 |

processing row 1 and 2
if row2.data > row1.data 
row2.signal = 1

Dataset<Integer> years = csvWithColumn.map((MapFunction<Row, Integer>) row -> { 
                int i= row.<Integer>getAs("signal"), Encoders.INT();
                return i+5;
            });
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...