Пакет Python машинного обучения Azure иногда возвращает ошибки зависимости от блоков данных. Я использую Databricks runtime 6.0 (не-ML) с пакетом azureml-sdk[databricks] PyPi. В частности, пакеты cryptography и pyopenssl понижены с 2.6.1 и 19.0.0 до 1.5 и 16.0.0 при установке azureml-sdk[databricks]. Установка другого пакета с требованием pyopenssl>=18.0.0 завершается успешно, как и установка cryptography==2.6.1 и pyopenssl==19.0.0 отдельно в кластере Databricks, но иногда во время задания появляются такие ошибки:
Failure while loading azureml_run_type_providers. Failed to load entrypoint hyperdrive = azureml.train.hyperdrive:HyperDriveRun._from_run_dto with exception (cryptography 1.5 (/databricks/python3/lib/python3.7/site-packages), Requirement.parse('cryptography>=2.3'), {'pyopenssl'}).
Failure while loading azureml_run_type_providers. Failed to load entrypoint azureml.PipelineRun = azureml.pipeline.core.run:PipelineRun._from_dto with exception (cryptography 1.5 (/databricks/python3/lib/python3.7/site-packages), Requirement.parse('cryptography>=2.3'), {'pyopenssl'}).
Failure while loading azureml_run_type_providers. Failed to load entrypoint azureml.ReusedStepRun = azureml.pipeline.core.run:StepRun._from_reused_dto with exception (cryptography 1.5 (/databricks/python3/lib/python3.7/site-packages), Requirement.parse('cryptography>=2.3'), {'pyopenssl'}).
Failure while loading azureml_run_type_providers. Failed to load entrypoint azureml.StepRun = azureml.pipeline.core.run:StepRun._from_dto with exception (cryptography 1.5 (/databricks/python3/lib/python3.7/site-packages), Requirement.parse('cryptography>=2.3'), {'pyopenssl'}).
Failure while loading azureml_run_type_providers. Failed to load entrypoint azureml.scriptrun = azureml.core.script_run:ScriptRun._from_run_dto with exception (cryptography 1.5 (/databricks/python3/lib/python3.7/site-packages), Requirement.parse('cryptography>=2.3'), {'pyopenssl'}).
From cffi callback <function _verify_callback at 0x7f587ef90268>:
Traceback (most recent call last):
File "/databricks/python/lib/python3.7/site-packages/OpenSSL/SSL.py", line 309, in wrapper
_lib.X509_up_ref(x509)
AttributeError: module 'lib' has no attribute 'X509_up_ref'
From cffi callback <function _verify_callback at 0x7f587ef90d08>:
Traceback (most recent call last):
File "/databricks/python/lib/python3.7/site-packages/OpenSSL/SSL.py", line 309, in wrapper
_lib.X509_up_ref(x509)
AttributeError: module 'lib' has no attribute 'X509_up_ref'
From cffi callback <function _verify_callback at 0x7f587dc1d950>:
Traceback (most recent call last):
File "/databricks/python/lib/python3.7/site-packages/OpenSSL/SSL.py", line 309, in wrapper
_lib.X509_up_ref(x509)
AttributeError: module 'lib' has no attribute 'X509_up_ref'
From cffi callback <function _verify_callback at 0x7f587dc25268>:
Traceback (most recent call last):
File "/databricks/python/lib/python3.7/site-packages/OpenSSL/SSL.py", line 309, in wrapper
_lib.X509_up_ref(x509)
AttributeError: module 'lib' has no attribute 'X509_up_ref'
SSLError: HTTPSConnectionPool(host='southcentralus.experiments.azureml.net', port=443): Max retries exceeded with url: /discovery (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'ssl3_get_server_certificate', 'certificate verify failed')])")))
Это неслучаться каждый раз, когда работа выполняется. Я попытался изменить порядок установки пакетов, но это все равно происходит периодически. Есть ли причина для azureml-sdk[databricks] требовать более низкую версию cryptography и pyopenssl, чем кластер без него или с azureml-sdk? Что я могу сделать, чтобы все зависимости были удовлетворены?