Код Python для подключения кассандры с помощью разъема искры-кассандры - PullRequest
Новая
       43

Код Python для подключения кассандры с помощью разъема искры-кассандры

0 голосов
/ 21 мая 2019

Мне нужно прочитать некоторые csv-файлы с использованием искрового фрейма данных и обработать эти данные перед записью этих данных в cassandra

Теперь я могу читать и предварительно обрабатывать данные, но записывать эти данные в cassandraкакая-то проблема 

Spark version - 2.4.1
Python - 2.7
Cassandra - 3.11

Я пробовал использовать разные версии свечей и кассандры, но я не могу подключить кассандру с использованием пакета org.apache.spark.sql.write 

def episode_of_care_to_cassandra():
    ec = episode_of_care[['master_id', 'start_time', 'end_time']].copy()
    ecare = sqlc.createDataFrame(ec)
    print(ecare.collect())
    print(dir(ecare))
    ecare.write.format("org.apache.spark.sql.cassandra")
               .mode('append')
               .options(table="ecare", keyspace="utss")
               .save()
...