CERTIFICATE_VERIFY_FAILED через spark-submit против успешного выполнения вручную кода python

Question

python 2.7, aws emr 5.29 кластер загружен с boto 3 на всех его узлах.

Success : s sh & выполнить python Программа, которая вставляется в DynamodBB (тестируется как на главном, так и на основном узле). выполняется вручную через python test.py

Сбой : spark-submit --jars test.py (на ведущем устройстве) Ошибка : из трассировки стека он указывает на CERTIFICATE_VERIFY_FAILED для Динамодб aws URL.

Вопрос: что делает spark-submit под прикрытием, которое требует аутентификации, чтобы прямой python test.py не требовал аутентификации?

Answer 1

После добавления ca bundle в aws config, как уже упоминалось, здесь и повторный запуск через spark-submit CERTIFICATE_VERIFY_FAILED ушел.