Оболочка Spark не расширяет переменные конфигурации Hadoop - PullRequest
Новая
       61

Оболочка Spark не расширяет переменные конфигурации Hadoop

0 голосов
/ 20 декабря 2018

В Hadoop я могу использовать переменную в файлах конфигурации, и Hadoop расширит ее, используя существующий ключ, или -Dvariable_name=value из HADOOP_OPTS.

Например, учитывая core-site.xml: 

<configuration>

  <property>
    <name>fs.defaultFS</name>
    <value>${fs.defaultFS}</value>
  </property>

</configuration>

При запуске HDFS я установил переменную окружения HADOOP_OPTS=-Dfs.defaultFS=<value>, и Hadoop расширит эти переменные в core-site.xml, используя параметры HADOOP_OPTS.

В оболочке Spark он не расширяетпеременных, но используя их буквальное значение ${fs.defaultFS}. 

...
Caused by: java.net.URISyntaxException: Illegal character in authority at index 7: hdfs://${fs.defaultFS}
  at java.net.URI$Parser.fail(Unknown Source)
  at java.net.URI$Parser.parseAuthority(Unknown Source)
  at java.net.URI$Parser.parseHierarchical(Unknown Source)
  at java.net.URI$Parser.parse(Unknown Source)
  at java.net.URI.<init>(Unknown Source)
  ... 66 more

Как сделать так, чтобы Spark расширял переменные конфигурации Hadoop?

...