Как создать CassandraTableScanJavaRDD без подключения к Cassandra?

Question

Я пытаюсь выполнить юнит-тест моего метода, который подключается к Cassandra и выполняет оператор выбора.Возвращенный CassandraTableScanJavaRDD затем преобразуется в кадр данных и выполняется дальнейшая обработка.

Для моего модульного теста я не хочу использовать встроенную кассандру.Я пытаюсь издеваться над CassandraTableScanJavaRDD, используя mockito.Но я не могу вставить в него какие-то фиктивные данные.Как создать экземпляр CassandraTableScanJavaRDD и хранить в нем некоторые данные, фактически не подключаясь к cassandra.

Answer 1

Вы можете попробовать использовать Spark Cassandra Connector Embedded - для многих тестовых случаев это должно работать, я думаю, что только для заданий Spark Streaming может потребоваться настоящая Cassandra.

Настройка зависит отваш менеджер пакетов - например, для SBT это будет:

"com.datastax.spark"  %% "spark-cassandra-connector-embedded" % {version}

Последняя версия 2.4.0, но вам может потребоваться использовать другую, в зависимости от используемой версии Spark..