Недавно пытался выполнить несколько быстрых скриптов, которые обращаются к репозиторию Google Cloud Storage и выполняют действительно базовую c агрегацию. В этом случае gcs-connector и nscala-time являются единственными зависимостями.
Использование версии 1.9.17 из gcs-connector (той, которую я использую в другом проекте и которая работает безупречно), подскажет .. .
[NOT FOUND] javax.jms#jms;1.1!jms.jar, а затем сбой с download failed после отображения нескольких связанных предупреждений с тем же самым.
Это происходит со мной при запуске кода Scala через spark-shell, для этого быстрого теста не используется IDE.
Есть ли способ обойти эту проблему?
EDIT - это происходит только с hadoop2 версиями, hadoop3 запустит искровую оболочку, но при запуске скрипта он будет искать sh с NoClassDefFoundError при попытке получить GoogleHadoopFileSystemConfiguration.