Можем ли мы использовать спарк на Кубернетесе в PROD env с бета-версией?

Question

мы планируем развернуть все задания пакетной и потоковой передачи в Kubernetes (в качестве кластерных служб). Я хочу знать, можем ли мы развернуть все задания спарк с помощью файла манифеста оператора спарка на сервере PROD Kubernetes.

Кластер Kubernetes

Answer 1

Вы можете взглянуть на https://cloud.google.com/dataproc/docs/concepts/jobs/dataproc-gke, где вы можете запустить кластер Dataproc на GKE. Это управляемый сервис Google Cloud.