У меня есть JavaRDD, который мне нужно сохранить в какой-либо внешней БД.
Каков наилучший способ сделать это, чтобы я не задохнулся в моей БД с огромным количеством соединений? То есть - я бы хотел контролировать количество пулов соединений, созданных в моем приложении Spark.
Я считаю, что rdd.forEach
будет плохим вариантом, поскольку он может создать пул соединений для каждой строки. Я предполагаю, что rdd.foreachPartition
, вероятно, лучше, но не совсем уверен.