Как получить значение из структуры в Spark Java? - PullRequest
Новая
       6

Как получить значение из структуры в Spark Java?

0 голосов
/ 05 декабря 2018

Мой набор данных ds имеет следующую схему: 

root
 |-- id: string (nullable = true)
 |-- type: string (nullable = true)
 |-- item: struct (nullable = true)
 |    |-- item: string (nullable = true)

Пример: 

{"id":"1","type": "aaa", "item": {"item":"11"}}
{"id":"2","type": "bbb", "item" : {"item":"12"}}

Как я могу извлечь item из структуры, чтобы получить этот результат? 

id   type    item
1    aaa     11
2    bbb     12

Это то, что я пытался безуспешно: 

ds.select("id", "type", "item.0");

Обратите внимание, что я использую Java.Не публикуйте ответы в Scala или Python, если они не идентичны для Java.

1 Ответ

0 голосов
/ 06 декабря 2018

Предположим, у вас есть пример файла: 

{"id":"1","type": "aaa", "item": {"item":"11"}}
{"id":"2","type": "bbb", "item" : {"item":"12"}}

Вы можете проверить следующий код Java: 

public class SparkJavaTest {
    public static SparkSession spark = SparkSession
            .builder()
            .appName("JavaSparkTest")
            .master("local")
            .getOrCreate();


    public static void main(String[] args) {

    Dataset<Row> ds1 = spark.read().json("sample.json");

ds1.printSchema();

ds1.select("id", "type", "item.item").show(false);

Результат будет: 

root
 |-- id: string (nullable = true)
 |-- item: struct (nullable = true)
 |    |-- item: string (nullable = true)
 |-- type: string (nullable = true)


+---+----+----+
|id |type|item|
+---+----+----+
|1  |aaa |11  |
|2  |bbb |12  |
+---+----+----+
...