Я развертываю свое пользовательское приложение в кластере spark, я заметил, что исполнитель и драйвер могут работать на разных JVM, поскольку у нас могут быть разные ведомые / рабочие приложения.
Итак, ранее в коде драйвера яинициализировать мое подключение MongoDB (так как драйвер - это однократная инициализация, здесь лучше) и использовать его в исполнителе, но теперь в кластерном режиме я не могу получить доступ к объекту, поскольку драйвер и исполнитель находятся на разных JVM, а также не могут отправить объект соединения висполнитель в том виде, в каком он дает
Task not serializable exception
Мой вопрос: как я могу установить одноразовое монго-соединение и использовать его во всем приложении?
Я видел коннектор spark-mongo, но он использует SparkSession, и я использую JavaStreamingContext, и мы можем использовать его только в любом конкретном приложении.
Я столкнулся с той же проблемой с моим файлом пользовательской конфигурации, который содержитконфигурация соединения.