Я использую спарк 1.6.2. Может ли кто-нибудь предоставить мне схему для createDataFrame(rdd,schema)
.
Я не могу определить схему для типов карт ниже.
DF.printSchema()
|-- PRODUCT_IMAGE_MAP: map (nullable = true)
| |-- key: string
| |-- value: struct (valueContainsNull = true)
| | |-- image_path: string (nullable = true)
| | |-- image_id: string (nullable = true)
| | |-- image_name: string (nullable = true)
|-- SKU_ID_SITE_MAP: map (nullable = true)
| |-- key: string
| |-- value: string (valueContainsNull = true)
|-- SKU_ID_SITEID_LIST: array (nullable = true)
| |-- element: string (containsNull = true)