Я пытаюсь вникнуть в новые темы (особенно Docker и Airflow). Поэтому я подумал о следующем мини-проекте: я беру данные из Интернета, трансформирую данные и хочу визуализировать их в блестящем приложении. Я хочу организовать эти три этапа процесса с помощью Airflow. Теперь я не уверен, как структурировать все это, и у меня есть следующие соображения:
Я определяю три контейнера (для загрузки, преобразования и визуализации) и размещаю их в DAG с помощью трех DockerOperators. Моя проблема: у меня пока нет элегантного способа обмена данными между контейнерами. Поэтому у меня есть ...
а) прочитал про XCOM, но это на самом деле для обмена метаданными, а не для передачи (больших) объемов данных между операторами.
б) Я думал о Docker -Compose, но для этого мне пришлось бы написать свой собственный оператор DockerCompose, верно? Со стандартным DockerOperator я могу запустить только один контейнер или? Особенно я не хочу запускать Airflow в контейнере, а только соответствующие задачи. преобразованные данные в приложении Shiny, но почему-то я не считаю этот способ элегантным.
d) Конечно, я мог бы поместить все в один большой контейнер, но поскольку я хочу построить соответствующие шаги на разных изображениях , Я хотел бы их разделить.
У вас есть идея для меня? Я что-то упускаю или использую неправильные инструменты? Заранее большое спасибо! М.