как преобразовать строку из csv в ArrayType в Apache spark java?

Question

У меня есть CSV-файл из 10 тыс. Строк, и я хочу выяснить какой-то шаблон. Я имею в виду пример Apache документов Spark. В приведенном ниже примере вместо элементов я даю список столбцов, но получаю ошибку.

Входной столбец должен быть ArrayType, но StringType.

FPGrowthModel model = new FPGrowth()
  .setItemsCol("items")
  .setMinSupport(0.5)
  .setMinConfidence(0.6)
  .fit(itemsDF);

Как создать ArrayType?

Answer 1

Попробуйте это -

val new_itemsDF = itemsDF.withColumn("items", array(col("items")))
FPGrowthModel model = new FPGrowth()
  .setItemsCol("items")
  .setMinSupport(0.5)
  .setMinConfidence(0.6)
  .fit(new_itemsDF);