Невозможно найти конфигурации akka с помощью Spark Submit.

Question

Я создал толстую банку и пытаюсь запустить ее с помощью spark-submit в EMR или локально. вот команда:

spark-submit \
--deploy-mode client  \
--class com.stash.data.omni.source.Runner myJar.jar  \
<arguments>

У меня постоянно появляется ошибка, связанная с конфигурациями akka:

Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version'

Кажется, что jar вообще не может найти reference.conf s для akka. Кто-нибудь имел дело с этим? Я могу запустить его без искровой отправки на моей локальной машине.

Answer 1

Я думаю, что проблема заключается в объединении в jar со всеми его зависимостями, что вызывает проблемы с Akka, как описано в документации :

Подход к настройке Akka в значительной степени зависит от понятие каждого модуля / jar, имеющего собственный файл reference.conf. Все они будут обнаружены конфигурацией и загружены. К сожалению, это также означает, что если вы поместите / объедините несколько jar-файлов в один jar-файл, вам также необходимо объединить все файлы reference.conf: в противном случае все значения по умолчанию будут потеряны.

Вы можете выполнить это документация для упаковки вашего приложения и процесса для объединения ресурсов reference.conf при объединении. В нем говорится об упаковке с использованием sbt, maven и gradle.

Дайте мне знать, если это поможет !!

Answer 2

это была моя стратегия слияния. я поймал всех case _ => MergeStrategy.first. я изменил его на case x => MergeStrategy.defaultMergeStrategy(x), и это сработало.