Airflow продолжает создавать файл из моей функции, даже если мой dag закрыт - PullRequest
Новая
       48

Airflow продолжает создавать файл из моей функции, даже если мой dag закрыт

0 голосов
/ 06 апреля 2020

Я попытался создать рабочий процесс, который сначала создаст html-файл, и прочитал его, чтобы сделать что-то:

Функция, которая создаст файл: 

from bs4 import BeautifulSoup as soup
from urllib.request import urlopen as uReq
from urllib.request import Request

filename = datetime.now().strftime("%m-%d-%Y-%H:%M:%S")
def createfile():
        my_url = myurl 
        headers = headers
        reqq = Request(url = my_url, headers = headers)
        uclient = uReq(reqq)
        page_html = uclient.read()
        uclient.close()

        with open(filename, 'w' ) as f:
            f.write(page_html.decode('utf-8'))
            f.close()
        #dosomething
        page_soup = soup(open(filename), "html.parser")
        #do

И я использую PythonOperator, чтобы вызвать его в файле dag: 

py_task1 = PythonOperator(task_id='Info',
                      python_callable=  createfile,
                      dag=dag)

Как не допустить воздушного потока при создании файла из моей функции?

...