заменить столбец и получить значение столбца - PullRequest
Новая
       8

заменить столбец и получить значение столбца

1 голос
/ 01 октября 2019

Я хочу заменить столбец в кадре данных. необходимо получить синтаксический код scala для этого Controlling_Area = CC2 Hierarchy_Name = CC2HIDNE

Необходимо записать как: HIDENE, то есть: удалить присутствующую Controlling_Area в Hierarchy_Name. 

val dfPC = ReadLatest("/Full", "parquet")
.select(
LRTIM(   REPLACE(col("Hierarchy_Name"),col("Controlling_Area"),"") ),
Col(ColumnN),
Col(ColumnO)
)


notebook:3: error: not found: value REPLACE
   REPLACE(col("Hierarchy_Name"),col("Controlling_Area"),"")
   ^

Ожидается дополучить LTRIM и заменить код в scala

1 Ответ

0 голосов
/ 01 октября 2019

Вы можете использовать withColumnRenamed для достижения этого: 

import org.apache.spark.sql.functions    
val dfPC = ReadLatest("/Full", "parquet")
                     .withColumnRenamed("Hierarchy_Name","Controlling_Area")
                     .withColumn("Controlling_Area",ltrim(col("Controlling_Area")))
...