Как добавить два Spark Dataframes с разными столбцами в Java

Question

У меня есть один Dataframe, на котором я выполняю одну операцию UDF, а затем операция UDF дает только один столбец в Dataframe. Как я могу добавить его к предыдущей Datafram. Пример: Dataframe 1: sr_no, name, salary

Dataframe 2: UDF выдает выходные данные в виде ABS (Salary) - только один столбец в качестве вывода из UDF, примененного к Dataframe1

Как можно получить выходные данные фрейм данных как Dataframe1 + Dataframe2 в JAVA, т. е. sr_no, имя, зарплата, вывод ABS (Salary)

Answer 1

Получил ответ. Просто сделайте это так: df = df.selectExpr ("*", "ABS (salary)"); Это даст вам вывод udf со всем вашим фреймом данных. Иначе он даст только один столбец.

Answer 2

Похоже, что вы ищете .withColumn метод:

df1.withColumn("ABS(salary)", yourUdf.apply(col("salary")))

(фрагмент требует импорта stati c метод col из org.apache.spark.sql.functions)