Разъем Spark Cassandra - доступ к RDD, где условия

Question

Давайте предположим, что у меня есть RDD[Foo], где case class Foo(bar: String, baz: Int), и у меня есть таблица в Кассандре с ключом разделения bar и ключом кластеризации baz

Теперь я пытаюсь присоединитьсяСДР с этой таблицей и выполнить некоторую фильтрацию на ключе кластеризации:

rdd.joinWithCassandraTable("my_keyspace", "foo_table").where("baz < ???")

Что я должен поставить вместо ???, чтобы получить доступ к свойству baz RDD?

Я бы хотел добиться того же результата, что и в следующем псевдо-sql:

select * from my_keyspace.foo_table ct
join rdd
on ct.bar = rdd.bar
where ct.baz < rdd.baz

Answer 1

where используется для статических предикатов, встроенных в запрос Кассандры.Его нельзя использовать для фильтрации по RDD.

. Для этого вам придется использовать стандарт filter (и, следовательно, переместить выделение в сторону искры).