Multiple Parameter - Spark SCALA Общая программа - PullRequest
0 голосов
/ 25 сентября 2018

Я работаю над созданием программы / фреймворка Generinc в SCALA / SPARK - который будет работать над процессом загрузки данных, принимая различные параметры, связанные с таблицей, и выполнять импорт и экспорт данных из src и target.

СейчасЧтобы сделать его более обобщенным, я хочу иметь возможность создавать файл набора параметров для каждой таблицы - который будет иметь все связанные параметры, такие как имя таблицы, sql, таблица src и цель, ключи и т. д.

Также некоторые изпараметры будут зависеть от среды, например, имя схемы или соединение с хостом БД, или файл конфигурации БД.

Может кто-нибудь привести несколько хороших примеров, которым я могу следовать или обработать, чтобы выполнить их выше, используя SCALA.

Вопросы -

  1. Какой лучший способ управлять конфигурацией параметров или файлом набора параметров, а также хорошим форматом для подражания?Файл JSON / PROPerties (java.util.prop) ..etc
  2. некоторые из зависящих от среды значений, как ими следует управлять
  3. Можем ли мы прочитать некоторые значения и даже проанализировать их с заменойпеременная для env.как схема?

Любые идеи приветствуются.Заранее спасибо.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...