Я пытаюсь передать metrics.properties свече emr:
оставить ее в папке resource
работает только локальный запуск.Кажется, что getResourceAsStream не работает для класса в папке resource в кластере.: (
Передайте его в аргументах
Кажется, что файл загружается в распределенный кеш. Но какчтобы прочитать его? Aws говорит:
Чтобы получить доступ к кэшированным файлам из ваших приложений мапперов или редукторов, убедитесь, что вы добавили текущий рабочий каталог (./) в путь вашего приложения и сослались на кэшированныефайлы, как будто они присутствуют в текущем рабочем каталоге.
Во-первых, что означает you have added the current working directory (./) into your application path ??? Я понимаю, что добавление jat в classpath, но каталог в путь к приложению ... что?Oo
Во-вторых, SparkSession.builder.config("spark.metrics.conf", "metrics.properties") приводит к FileNotFoundException. Может быть, spark определяет некоторую «текущую» папку, которую можно использовать для получения полного прохода для metrics.properties?
Есть идеи?кто-нибудь передавал файлы в кластер emr?