Экземпляр Apache Ignite как переменная приведения Spark Broad

Question

Как только Ignite будет создан при использовании Driver,

Ignite ignite = Ignition.getOrStart(igniteConfiguration);

Необходимо передать этот экземпляр воспламенения всем исполнителям в качестве переменной широковещания. Дайте мне знать, если я смогу добиться этого.Я знаю, что Ignite не Serialize, но есть ли способ заставить его сериализоваться.

Answer 1

Экземпляр Ignite нельзя транслировать между исполнителями, поскольку он соответствует узлу, работающему локально. Сам объект, отправленный другому исполнителю, не принесет вам пользы.

Существует специальная интеграция между Apache Ignite и Apache Spark: https://apacheignite -fs.readme.io / docs Если вы используете эту интеграцию, то каждый исполнитель Spark запустит узел Ignite, и вы сможете работать с ним. Обычно для работы с Ignite из Spark используются фреймы данных IgniteRDD или Ignite. Вы также можете получить экземпляр Ignite, используя метод IgniteContext # ignite ().

Для получения дополнительной информации см. Документацию: https://apacheignite -fs.readme.io / docs / ignitecontext-igniterdd