Почему в Spark-Cassandra-Connector не определен ReaderBuilder для чтения данных из базы данных Cassandra?

Question

Я видел репозиторий github для spark-cassandra-connector, и я не нашел, что ReaderBuilder реализовал их, но был реализован WriterBuilder, и кто-нибудь может мне помочь с этим, поскольку я хочу читать данные из базы данных cassandra, используя ссылку на CassandraConnector.

Я хотел соединить два кластера кассандры в одном SparkContext, и я хочу читать данные из них обоих, поэтому мне нужен ReaderBuilder для чтения данных из моего второго кластера кассандры, также я работаю с языком Java здесь.

Github репо Ссылка: https://github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/java/com/datastax/spark/connector/japi/RDDAndDStreamCommonJavaFunctions.java

CassandraConnector eventsConnector = CassandraConnector.apply(sc.getConf().set("spark.cassandra.connection.host", "192.168.36.234"));

Answer 1

Моим первым предложением было бы не использовать RDD в Java.RDD в Java намного сложнее, чем в Scala, и это также старый API.Я бы предложил вместо этого использовать DataFrames.Они обеспечивают намного более чистый интерфейс между различными источниками данных, а также автоматическую оптимизацию и другие преимущества.

Теперь, если вы не можете использовать DataFrames, вместо этого просто сделайте CassandraJavaRDD, а затем используйте «withConnector» или «withReadConf» для измененияконфигурация чтения.

https://github.com/datastax/spark-cassandra-connector/blob/master/spark-cassandra-connector/src/main/java/com/datastax/spark/connector/japi/rdd/CassandraJavaRDD.java#L123-L129

Что-то вроде

val cluster2 = CassandraConnector eventsConnector = 
  CassandraConnector.apply(
    sc.getConf()
      .set("spark.cassandra.connection.host", "192.168.36.234"));

  javaFunctions(sc).cassandraTable(ks, "test_table").withConnector(cluster2).collect()
}

Нет необходимости в компоновщике, поскольку сам RDD имеет свободный API.Поскольку запись происходит сразу после завершения звонка, ему нужен строитель.