Лучшая практика записи JavaRDD на внешнюю БД - PullRequest
0 голосов
/ 30 апреля 2020

У меня есть JavaRDD, который мне нужно сохранить в какой-либо внешней БД.

Каков наилучший способ сделать это, чтобы я не задохнулся в моей БД с огромным количеством соединений? То есть - я бы хотел контролировать количество пулов соединений, созданных в моем приложении Spark.

Я считаю, что rdd.forEach будет плохим вариантом, поскольку он может создать пул соединений для каждой строки. Я предполагаю, что rdd.foreachPartition, вероятно, лучше, но не совсем уверен.

...