Добавить новый столбец в мой DataSet в spark Java API

Question

Я новенький в Spark. Мой DataSet содержит две колонки. Я хочу добавить третий, который является суммой двух столбцов.

Мой набор данных:

+---------+-------------------+
|C1       |       C2          |
+---------+-------------------+
|   44    |                 10|
|   55    |                 10|
+---------+-------------------+

Я хочу получить DataSet следующим образом:

+---------+-------------------+---------+
|C1       |       C2          |   C3    |
+---------+-------------------+---------+
|   44    |                 10|   54    |
|   55    |                 10|   65    |
+---------+-------------------+---------+

Любая помощь будет оценена.

Answer 1

Правильное решение:

df.withColumn("C3", df.col1("C1").plus(df.col("C2")));

или

df.selectExpr("*", "C1 + C2");

Для получения дополнительных арифметических операторов, проверьте Операторы выражений для Java * в документации Column.