У меня есть DataFrame Scala Spark, где у каждого объекта есть parent. Каждый родитель также является объектом, где он может иметь другого родителя и так далее. Там не будет круговой цепочки.
object_id, parent_id,
1, 2,
2, 3,
3, NULL,
Как мне манипулировать набором данных, чтобы получить все parent_ids для объекта? Результат:
object_id, parent_ids,
1, [2, 3],
2, [3],
3, NULL,