компания, для которой я сейчас стажируюсь, хочет, чтобы я запланировал уже существующий веб-скребок на Airflow.У меня 0 опыта работы с webscrapers и airflow, однако я пишу, чтобы попросить о помощи.
Прежде всего, webscraper использует сельдерей, селен и rabbitMQ и прекрасно работает без воздушного потока.Теперь мой вопрос заключается в том, чтобы переместить этот процесс в поток воздуха. Все, что мне нужно сделать, - это импортировать функции в DAG потока воздуха, которую я хочу создать, и вызывать их в том порядке, в котором мы хотим, чтобы они вызывались?Или это очень упрощенный взгляд на вещи?Есть ли что-то, что мне нужно иметь в виду?Я пытался прочитать о потоке воздуха в течение прошлой недели, однако, я не могу сделать так, чтобы это масштабировалось, чтобы соответствовать коду компании.
Извинения за полный вопрос noob.