Как я могу использовать spark-operator-k8s для прослушивания Q в RabbitMQ, а затем для запуска искровых заданий с сообщением amqp в качестве аргументов задания?

Question

У меня есть spark-operator-k8s, который может работать с использованием команд kubectl. Но теперь я хочу использовать это как потребитель для rabbitmq. Также приветствуются предложения по этому подходу, и я хотел бы понять, есть ли лучшие способы добиться этого.

Answer 1

Для тех, кто планирует комментировать; как я решил вышеописанное!

Мы используем spark-k8s-operator для управления искровыми приложениями в k8s и оказывается, что spark-k8s-operator не был предназначен для прослушивания каких-либо amqp сообщений и поэтому, чтобы инициировать операторы spark-k8s для запуска команды spark-submit, внутри рабочего модуля сельдерея мы динамически генерируем манифест для sparkApplication и затем вызываем REST API kubernetes с manifest.

Чтобы вручную запустить то же самое, используя kubectl, можно написать их манифест sparkApplication и запустить kubectl apply -f <manifest.yml>