Мы работаем над созданием конвейера сборки и тестирования Jenkins для нашего приложения Computer Vision (Dockerized).Естественно, у нас есть огромный набор данных для тестирования (~ 32 ГБ).Есть идеи как построить такой трубопровод?
Вот некоторые варианты, которые я изучаю:
- Создание хранилища в BitBucket с данными, включение его в конвейер Jenkins, монтирование его в Docker и запуск теста.
- Загрузить данные на экземпляр S3, извлечь из Jenkins и выполнить тест ??(Не знаю, как это работает)
Если для этого есть стандартная практика, я не смог бы ее найти.Любые идеи будут полезны.Спасибо!