сопоставление пары ключ-значение - от информационного кадра к таблице Кассандры - PullRequest
Новая
       6

сопоставление пары ключ-значение - от информационного кадра к таблице Кассандры

0 голосов
/ 30 марта 2020

A json проанализированный фрейм данных (insertDF) имеет вид: 

+------------------------------------------------+-------------+------------+
Cls_details                                       | prdct_cde   |roll_nbr
+------------------------------------------------+-------------+------------+

{"key1":"value1","key2":"value2","key3":"value3"}|DKLA          |123453  
{"key1":"value1","key2":"value2","key3":"value3"}|GHTD        |123454      
{"key1":"value1","key2":"value2","key3":"value3"}|ILDDA        |123455

Я хочу сохранить этот фрейм данных в таблицу cassandra. Используемый код spark scala: 

insertDF
      .write.format("org.apache.spark.sql.cassandra")
      .options(Map("keyspace" -> "abc", "table" -> "def"))
      .mode(SaveMode.Append).save()

Но я получаю ошибку: 

com.datastax.spark.connector.types.TypeConversionException: Cannot convert object {"key1":"value1","key2":"value2","key3":"value3"} of type class java.lang.String to Map[AnyRef,AnyRef].

Пожалуйста, предложите решения в spark scala. Любая помощь будет высоко ценится.

...