Перевести список [Row] в RDD [CassandrRow] в scala - PullRequest
0 голосов
/ 30 апреля 2018

У меня следующий код: -

 val result = session.execute("Select * from table where imei= '" + imei + "'")
 val list = result.all()
 val sCollection = list.asScala
 val rdd = sc.parallelize(Seq(sCollection))

Я пытаюсь создать список [Row] для RDD [CassandraRow], и я нашел где-то, что нам нужно преобразовать этот список в коллекцию scala перед тем, как сделать его RDD, но когда я пытаюсь запустить это, выдает ошибку, которая :

value asScala is not a member of java.util.List[com.datastax.driver.core.Row]

Где я иду не так и что можно сделать, чтобы решить эту проблему?

Спасибо

1 Ответ

0 голосов
/ 30 апреля 2018

Вы пропустили import scala.collection.JavaConverters._ в начале. Однако я не рекомендую решение, которое вы написали, потому что оно не масштабируется.

Имеется Spark-Cassandra разъем, который может загружать данные в Spark распределенным (масштабируемым) способом.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...