Databricks Undefined JSON тип объекта Ошибка при сохранении гео json данных - PullRequest
Новая
       73

Databricks Undefined JSON тип объекта Ошибка при сохранении гео json данных

0 голосов
/ 19 июня 2020

Я пытаюсь сохранить данные в Azure cosmos DB через Databricks. Тип данных - geo json.

Я создал фрейм данных на основе типа данных geo json со следующим кодом python в Databricks Notebook: 

json_df = spark.read.option("multiline","true").json("nyc_boroughs.geojson")

Затем я сохраняю фрейм данных в нашу базу данных cosmosDB со следующим кодом: 

df_gejsonv3 = {
    "Endpoint": "https://olvin-prod.documents.azure.com:443/",
    "Masterkey": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "Database": "our_database",
    "Collection": "allpolygons",
    "WritingBatchSize": "4000",
    "Upsert": "true"
}

df_gejsonv3.write.format("com.microsoft.azure.cosmosdb.spark").mode("overwrite").options(**df_gejsonv3).save()

com.microsoft.azure.documentdb.DocumentClientException: java.lang.RuntimeException: undefined json type OBJECT

Я не уверен, связана ли проблема с Databricks или Azure CosmosDB

...