Как запустить Apache Spark с S3 (Minio), защищенным самозаверяющим сертификатом? - PullRequest
Новая
       78

Как запустить Apache Spark с S3 (Minio), защищенным самозаверяющим сертификатом?

0 голосов
/ 19 апреля 2020

Я установил Minio (я установил Minio в Kubernetes, используя helm ) с TLS, используя самозаверяющий сертификат. Ранее я смог запустить свою искровую работу с Minio без TLS. Теперь невозможно подключиться к Minio (нормально!)

Затем я создал файл хранилища доверенных сертификатов из сертификата tls 

keytool -import \
  -alias tls \
  -file tls.crt \
  -keystore truststore.jks \
  -storepass "$minioTruststorePass" \
  -noprompt

Я создаю секрет Kubernetes с содержимым хранилища доверенных сертификатов и я использую в spark-defaults.conf следующую опцию, чтобы позволить spark использовать trustore: 

spark.kubernetes.driver.secrets.minio-truststore-secret

Наконец, я сделал все следующие изменения в моем spark-defaults.conf, но та же проблема 

spark.hadoop.fs.s3a.endpoint                                      https://smart-agriculture-minio:9000
spark.hadoop.fs.s3.awsAccessKeyId                                 <s3aAccessKey>
spark.hadoop.fs.s3.awsSecretAccessKey                             <s3aSecretKey>
spark.hadoop.fs.s3.impl                                           org.apache.hadoop.fs.s3a.S3AFileSystem
spark.hadoop.fs.s3a.access.key                                    <s3aAccessKey>
spark.hadoop.fs.s3a.secret.key                                    <s3aSecretKey>
spark.hadoop.fs.s3a.path.style.access                             true
spark.hadoop.fs.s3a.impl                                          org.apache.hadoop.fs.s3a.S3AFileSystem
spark.hadoop.fs.s3a.connection.ssl.enabled                        true
spark.drive.extraJavaOptions                                      -Djavax.net.ssl.trustStore=/opt/spark/conf/minio/truststore/truststore.jks -Djavax.net.ssl.trustStorePassword=<minioTruststorePass>
spark.executor.extraJavaOptions                                   -Djavax.net.ssl.trustStore=/opt/spark/conf/minio/truststore/truststore.jks -Djavax.net.ssl.trustStorePassword=<minioTruststorePass>

Вы когда-нибудь сталкивались с этой проблемой и у вас есть идея, чтобы решить ее?

Спасибо

...