Devops подход для блокнота данных ноутбука - PullRequest
0 голосов
/ 16 апреля 2020

Я искал лучший подход для настройки CICD Pipeline [Azure Devops] для блоков данных. Итак, шаги, которые я выполнил до сих пор.

  1. У меня есть 2 ноутбука: a. Записная книжка разработчика: играющая с фреймом данных искры b. Блокнот Unittest: состоит из тестовых случаев, написанных с использованием модуля unittest2
  2. Я могу импортировать класс Dev в Блокнот Unittest с помощью команды% run и запустить тестовую тетрадь.
  3. Я экспортирую как Dev, так и Блокнот Unittest в виде py-файла и загрузка его в мои Azure репозитории для использования в Azure CICD Pipeline.
  4. У меня был настроенный конвейер для запуска тестового py-файла.

Но мне нужно:

  1. Как я могу динамически импортировать класс py в мой файл unittest, если он находится в том же месте
  2. Как я могу динамически создать экземпляр spark, чтобы я мог успешно запустил мой файл unittest.

На данный момент я добавляю фрагмент экземпляра spark вручную и запускаю файл, но при работе с кирпичами данных нам не нужно было создавать экземпляр spark.

Рассмотрите приведенный выше сценарий, и, пожалуйста, дайте мне знать, как лучше подходить для этого.

Пожалуйста, не стесняйтесь комментировать, если какой-либо запрос.

Спасибо.

...