Intel оптимизировала Python на машинном обучении Compute - PullRequest
Новая
       18

Intel оптимизировала Python на машинном обучении Compute

0 голосов
/ 04 марта 2020

Можно ли запустить сценарий Python или шаг Оценщика на службе машинного обучения Azure в контейнере с оптимизированным дистрибутивом Intel Python? Я понимаю, что это доступно на Azure виртуальных машинах Data Science ( или описано здесь ), но я не смог выяснить, как использовать это в качестве Azure Compute Service Learning Service Compute target.

Для моего текущего варианта использования я особенно заинтересован в использовании связанного с mkl пакета numpy в контейнере службы aml.

Примечание: Запуск numpy .show_config () внутри Контейнер предполагает, что numpy связан с OpenBlas, а не MKL 

blas_mkl_info:
  NOT AVAILABLE
blis_info:
  NOT AVAILABLE
openblas_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
blas_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_mkl_info:
  NOT AVAILABLE
openblas_lapack_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]
lapack_opt_info:
    libraries = ['openblas', 'openblas']
    library_dirs = ['/usr/local/lib']
    language = c
    define_macros = [('HAVE_CBLAS', None)]

1 Ответ

0 голосов
/ 04 марта 2020

В базовых изображениях Azure ML используется Miniconda Python, в котором используется MKL.

Подробности базовых изображений можно найти здесь: https://github.com/Azure/AzureML-Containers

Кроме того, если вы устанавливаете Anaconda numpy следующим образом 

conda_dep.add_conda_package("numpy")
runconfig.run_config.environment.python.conda_dependencies = conda_dep

, вы должны увидеть этот тип вывода из numpy.show_config().

blas_mkl_info:

library = ['blas', 'cblas', 'lapack', 'pthread', 'blas', 'cblas', 'lapack']

library_dirs = ['/ azureml-envs / azureml_a8ad8e485613e21e6e8adc1bfda86b40 / lib']

define_macros = [('SCIPY_MKL_H', None), ('HAVE_CBL24 * 10 * * 10 * * 10 * * 10 * * 10 * * 10 * * 10 *) * = ['/ azureml-envs / azureml_a8ad8e485613e21e6e8adc1bfda86b40 / include']

...