Скажем, у меня есть набор данных:
Dataset<Row> sqlDF = this.spark.sql("SELECT first_name, last_name, age from persons";
, который вернет Dataset с тремя столбцами: first_name, last_name, age.
Я хочу применить функцию, которая добавляет 5в столбец age и возвращает новый набор данных с теми же столбцами, что и исходный набор данных, но с измененным значением возраста:
public int add_age(int old_age){
return old_age + 5;
}
Как мне это сделать с помощью Apache Spark на Java?