c1,c2,c3
pencil,book,eraser
pen,book
если это мой набор данных, мне нужны такие комбинации, как
pencil
pencil,book
pencil,eraser
book,eraser
pen
pen,book
с использованием rdd. Я сделал это в этом формате, но теперь мой ввод - это фрейм данных, как я могу создать эту комбинацию?
val itemset = data.flatMap { line =>
val arr = line.split(delimiter)
(1 to arr.length).flatMap { y =>
val combinations = arr.combinations(y)
println("arr elements "+arr.deep)
combinations.foreach(x => println(x.deep))
combinations.map { x => (x.toSet, 1)}
}
}.reduceByKey(_ + _)