Как создать искровой датафрейм с пространством клавиш Cassandra? - PullRequest
Новая
       44

Как создать искровой датафрейм с пространством клавиш Cassandra?

0 голосов
/ 20 марта 2019

У меня локальная установка Кассандры.Мне нужно работать в Spark с Google Colab и выполнять запросы из моей локальной базы данных.Но я знаю, что можно более эффективно соединить искру и кассандру.Я хотел бы создать фрейм данных с данными из пространства клавиш Кассандры.Как ты это делаешь?

Мое пространство ключей называется yelp_data.Он содержит таблицы "reviews" и "business".

В моем проекте я хотел бы использовать фрейм данных df = (данные из моего пространства ключей Cassandra).Я пользуюсь pyspark.

1 Ответ

0 голосов
/ 20 марта 2019

Просто следуйте документации для Spark Cassandra Connector и используйте spark.read с правильными параметрами, например: 

reviews_df = spark.read.format("org.apache.spark.sql.cassandra")\
  .options(table="reviews", keyspace="yelp_data").load()
business_df = spark.read.format("org.apache.spark.sql.cassandra")\
  .options(table="business", keyspace="yelp_data").load()
...