SparkConf как Kubernetes ConfigMap - PullRequest
Новая
       66

SparkConf как Kubernetes ConfigMap

1 голос
/ 29 мая 2020

Я играю с spark-on-k8s-operator . Я заранее поинтересовался, есть ли у кого-нибудь хорошие примеры / манифесты для предоставления spark conf через Kubernetes ConfigMaps? файл в src/main/resources

  @transient lazy val logger: Logger = LoggerFactory.getLogger(getClass)
  val config: Config                 = ConfigFactory.parseResources("application.conf")
  config.checkValid(ConfigFactory.defaultReference(), topicName)
  private val source: String = config.getString(s"${topicName}.source")
  private val topic: String =
    config.getString(s"${topicName}.topic")
  private val brokers: String =
    config.getString(s"${topicName}.kafka_bootstrap_servers")
  private val offsets: String =
    config.getString(s"${topicName}.auto_offset_reset")
  private val failOnLoss: String =
    config.getString(s"${topicName}.fail_on_data_loss")

1 Ответ

0 голосов
/ 29 мая 2020

У меня нет примеров, но я могу предложить предложение.

Вместо использования application.conf вы можете использовать любую библиотеку YAML (или другие типы расширения файлов конфигурации) и выбрать путь config.yaml из переменной среды (например: app.config.dir = / etc / app / config.yaml),

Затем настройте файл карты конфигурации kubernetes (config.yaml) в / etc / app, и когда ваше приложение будет запущено, оно будет считывать оттуда конфигурацию (вы должны установить переменную среды app.config.dir).

...