Извлечение значений из древовидного MapPartitionsRDD - PullRequest
Новая
       34

Извлечение значений из древовидного MapPartitionsRDD

0 голосов
/ 20 ноября 2018

У меня есть MapPartitionsRDD с именем links, который в терминах Python имеет структуру типа словаря. 

links.peekJson(123)
res1: kw1": {"kw2": {"kw3": "a"} }
links.map(_.get("kw1.kw2.kw3").getOrElse(""))
res2: "a"

Теперь у меня немного другая структура 

links2.peekJson(123)
res1: kw1": {"kw2": [{"kw3": "a"},{"kw3": "b"},{"kw3": "c"},{"kw3": "d"}] }
links.map(_.get("kw1.kw2[1].kw3").getOrElse(""))
res2: "b"`

IsЕсть ли способ получить List[String] всех записей в "kw3"?Что-то вроде 

links.map(_.get("kw1.kw2[:].kw3").getOrElse(""))
res3: List("a","b","c","d")`

Мне нужно сохранить соответствие между записью в СДР и этой List[String]

...