Spark Schema Converter - PullRequest
       8

Spark Schema Converter

0 голосов
/ 10 марта 2020

Мы используем API с открытым исходным кодом - spark- json -schema (https://github.com/zalando-incubator/spark-json-schema). Мы хотим поддерживать decimalType, потому что поступающие данные могут иметь точность 25 ~ 29. У кого-нибудь есть опыт сопоставления типа поля в схеме с DecimalType?

val TypeMap = Map(
        "string" -> StringType,
        "number" -> DoubleType,
        "float" -> FloatType,
        "integer" -> LongType,
        "boolean" -> BooleanType,
        "object" -> StructType,
        "array" -> ArrayType
)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...