Как вернуть данные JSON в наборе данных <Row>с кодировщиком (structType) в Spark? - PullRequest
0 голосов
/ 14 октября 2019

Я пытался вернуть требуемый параметр в DataSet. Всякий раз, когда я возвращаю данные в строку, я не могу закодировать данные с помощью struct Type. Если предположим, что я использую Map/JSONObject, это выдавало Map/jsonobject it not a valid External schema, Ниже кода я пробовал? Любая помощь будет благодарна заранее

DataSet<Row>//
Row rowdat=RowFactory.create(jsondata)
Return rowdat.iterator();

//Dataset data will be **** [[{"employees:"accountant","firstname":"walter", "age":"54"}]]


StructType schema = DataTypes.createStructType(new StructField[] {
            DataTypes.createStructField("employees",  DataTypes.StringType, true),
            DataTypes.createStructField("firstname", DataTypes.StringType, true),
            DataTypes.createStructField("age", DataTypes.StringType, true)

    });

ExpressionEncoder express=RowCoder.apply(schema)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...