Создать пустой столбец StructType в фрейме данных spark

Question

Мне нужно добавить пустой столбец StructType в существующий DataFrame.

Попробовал следующее:

df = df.withColumn("features", typedLit(StructType(Nil)))

И

df = df.withColumn("features", lit(new GenericRowWithSchema(Array(), StructType(Nil))))

Однако в обоих вышеперечисленных случаях возникает ошибка в виде неподдерживаемого литерального типа.

Answer 1

Грубо говоря, можно использовать пользовательскую функцию для добавления столбца с пустыми строками:

def addEmptyRowColumn(df: DataFrame, newColumnName: String): DataFrame = {
  val addEmptyRowUdf = udf( () =>
    new GenericRowWithSchema(Array(), StructType(Nil)), StructType(Nil))

  df.withColumn(newColumnName, addEmptyRowUdf())
}

df = addEmptyRowColumn(df, "features")