Можно ли использовать контейнер docker для функции карты в Apache spark? Если так, то как? Более конкретно, я хочу использовать docker изображение с некоторым интерфейсом (возможно, просто stdin / stdout со строкой RDD) здесь . Обратите внимание, что не нужно использовать pyspark. Я не могу найти ничего подобного в документации, но мне интересно, есть ли какая-нибудь библиотека с такой возможностью. Я думаю, что эта функциональность была бы весьма полезна для различных пользователей. И просто для подтверждения, я не спрашиваю о том, как запустить саму искру, используя docker. Спасибо