Проблема с записью файлов из Spark в CosmosDB

Question

В настоящее время я изучаю cosmosDB в среде Azure.Я пытаюсь установить соединение с CosmosDB для записи файлов Json из spark в cosmosDB.

---

import com.microsoft.azure.cosmosdb.spark.schema._ 
import com.microsoft.azure.cosmosdb.spark._
import com.microsoft.azure.cosmosdb.spark.config.Config

val b=spark.read.option("multiline", "true").json("wasb://hdi-2018-12-04t03- 
00-20-107z@storage.blob.core.windows.net/hdp/file.json")
val c=b.registerTempTable("sathya")
val d=spark.sqlContext.sql("select * from sathya")

val writeConfigMap = Map(
"Endpoint" -> "https://testy.documents.azure.com:443/",
"Masterkey" -> 
"pKIrXH4coeqJYdloN9tKlOZkGa3arbj7SpwR7V9ryNxjOUNU08Ne0rEp6LXsamEz0YF7ew==",
"Database" -> "newdbcosmos",
"Collection" -> "newcollcosmos", 
"preferredRegions" -> "US East",
"SamplingRatio" -> "1.0",
"schema_samplesize" -> "200000"
) 

Ошибка при записи в CosmosDB:

scala> d.write.cosmosDB(writeConfigMap)
<console>:41: error: type mismatch;
**found   : scala.collection.immutable.Map[String,String]
required: com.microsoft.azure.cosmosdb.spark.config.Config
d.write.cosmosDB(writeConfigMap)**

Я прочитал документы вИнтернет, и я загрузил Uber JAR для разъема CosmosDB.Кто-нибудь сталкивался с этой проблемой и поделится решением.

Спасибо, Сатья

Answer 1

Пожалуйста, настройте конфигурацию космоса следующим образом:

import com.microsoft.azure.cosmosdb.spark.config.Config
val cmosConfig = Config(Map(
    "Endpoint" -> "https://testy.documents.azure.com:443/",
    "Masterkey" -> 
    "pKIrXH4coeqJYdloN9tKlOZkGa3arbj7SpwR7V9ryNxjOUNU08Ne0rEp6LXsamEz0YF7ew==",
    "Database" -> "newdbcosmos",
    "Collection" -> "newcollcosmos", 
    "preferredRegions" -> "US East",
    "SamplingRatio" -> "1.0",
    "schema_samplesize" -> "200000"))