Проблема, когда я использую ArangoSpark.saveDF (df, collection, WriteOptions ()), когда поле _key схемы dataframe seted не работает, невозможно записать в ArangoDB - PullRequest
Новая
       10

Проблема, когда я использую ArangoSpark.saveDF (df, collection, WriteOptions ()), когда поле _key схемы dataframe seted не работает, невозможно записать в ArangoDB

0 голосов
/ 06 мая 2019

Когда я использую arangodb-spark -nector для записи локальных данных CSV в ArangoDB, схема устанавливает, что _key filed для искры, фрейм данных не работает, данные не могут быть записаны в ArangoDB.

Я изготовил некоторый тест данных для записи в ArangoDB, как показано ниже (первым является заголовок файла csv): 

_key,height,name,score
1,13,Jack,4
2,3,Alice,9.9
3,9,Julice,9.4
4,10,Anna,90

Если я не установил схему для кадра данных, как показано в коде ниже, данные могут быть записаны в ArangoDB. 

val df = spark.read.option("header", true).option("sep", ",").csv(path)
ArangoSpark.saveDF(df, COLLECTION, WriteOptions(DB))

Но когда я явно задаю схему для фрейма данных, как показано в коде ниже, данные не могут быть записаны в ArangoDB. 

val schema = StructType(
  List(
    StructField("_key", LongType, true),
    StructField("height2", DoubleType, true),
    StructField("name2", StringType, true),
    StructField("score2", DoubleType, true)
  )
)    
val df = spark.read.schema(schema).option("header", true).option("sep", ",").csv(path)
ArangoSpark.saveDF(df, COLLECTION, WriteOptions(DB))

Это ошибка в API ArangoDB.saveDF (). Если да, то как я могу задать для поля _key явное отображение фрейма данных при вставке данных вершин в ArangoDB.

...