Я искал лучший подход для настройки CICD Pipeline [Azure Devops] для блоков данных. Итак, шаги, которые я выполнил до сих пор.
- У меня есть 2 ноутбука: a. Записная книжка разработчика: играющая с фреймом данных искры b. Блокнот Unittest: состоит из тестовых случаев, написанных с использованием модуля unittest2
- Я могу импортировать класс Dev в Блокнот Unittest с помощью команды% run и запустить тестовую тетрадь.
- Я экспортирую как Dev, так и Блокнот Unittest в виде py-файла и загрузка его в мои Azure репозитории для использования в Azure CICD Pipeline.
- У меня был настроенный конвейер для запуска тестового py-файла.
Но мне нужно:
- Как я могу динамически импортировать класс py в мой файл unittest, если он находится в том же месте
- Как я могу динамически создать экземпляр spark, чтобы я мог успешно запустил мой файл unittest.
На данный момент я добавляю фрагмент экземпляра spark вручную и запускаю файл, но при работе с кирпичами данных нам не нужно было создавать экземпляр spark.
Рассмотрите приведенный выше сценарий, и, пожалуйста, дайте мне знать, как лучше подходить для этого.
Пожалуйста, не стесняйтесь комментировать, если какой-либо запрос.
Спасибо.