Как создать собственный писатель для Spark Dataframe?

Question

Как я могу создать собственный формат записи для Spark Dataframe, чтобы использовать его как df.write.format("com.mycompany.mydb").save()?Я пытался прочитать код соединителя Datastax Cassandra, но все еще не мог понять,

Answer 1

Использование Spark Data Source API V2 .

Если вы используете Spark версии <2.3, вы можете использовать Spark Data Source API V1. </p>