Я бы хотел установить воздушный поток Apache и луч Apache вместе, используя Docker или Docker-Compose .
То, что я пытаюсь сделать, это: В настоящее время у меня есть Apache DAGS с воздушным потоком для различных задач, и в одной из задач я хочу включить / интегрировать конвейер данных Apache Beam. И чтобы успешно запустить этот рабочий процесс, мне нужно установить зависимость от Apache Beam. Например: pip install apache-beam и pip install apache-beam [gcp]
В настоящее время я использую образ Puckel Docker для потока Apache. Мои предпочтения:
1. https://github.com/apache/airflow
2. https://github.com/puckel/docker-airflow
Я хочу перейти с первой ссылкой в качестве официального изображения. Если у кого-то есть решение с изображением dockel docker, пожалуйста, помогите мне понять, как я могу получать последние изменения каждый раз из репозитория.
Я новичок в докере, apache-airflow и apache-beam. Я учусь и расту медленно. Итак, ваша помощь очень ценится. Огромное спасибо!!! :)