EMR Spark - Неудовлетворенная ссылка для libcrypto.so.1.0.0

Question

Я пытаюсь использовать xgboost4j с Spark 2.4. Я проверил, что libcrypto.so.1.0.0 присутствует в папке / dev / so главного и рабочего узлов. Файл был скопирован в / dev / so / во время создания кластера с помощью начальной загрузки. Я также добавил / dev / so / * в spark.executor.extraLibraryPath и spark.driver.extraClassPath. Но при попытке обучить модель я получаю эту ошибку -

java.lang.UnsatisfiedLinkError: /mnt3/yarn/usercache/zeppelin/appcache/application_1583546919274_0001/container_1583546919274_0001_01_000034/tmp/libxgboost4j6574794715384475912.so: libcrypto.so.1.0.0: cannot open shared object file: No such file or directory

Должен ли файл libcrypto.so.1.0.0 находиться в каком-то указанном каталоге c? Любые указатели будут очень полезны.

Answer 1

Из ошибки следует, что вы можете использовать Zeppelin на Linux. http://tldp.org/HOWTO/Program-Library-HOWTO/shared-libraries.html объясняет, как обычно происходит загрузка общей библиотеки. Вы можете попробовать установить libssl или обновить LD_LIBRARY_PATH (добавьте свой путь к нему).