Я запускаю блокнот jupyter из компаузера, используя PythonOperator, который выполняет следующий код
def run_notebook_proc(notebook,**kwargs):
notebook_full_path = '/home/airflow/gcs/data/' + notebook + '.ipynb'
with open(notebook_full_path) as f:
nb = nbformat.read(f, as_version=4)
ep = ExecutePreprocessor(kernel_name='Python2')
ep.preprocess(nb,{})
Записная книжка в порядке, но отпечатки журналов, выполненные в записной книжке с использованием logging.info("message")
, не видны ни в журналах воздушных потоков, ни в стековой машине.
В некоторых ссылках я видел, что вывод распечатывается в другой блокнот или HTML-файл с использованием
with open(notebook, 'wt') as f:
nbformat.write(nb, f)
но меня не интересует вывод записной книжки, и мне просто нужно увидеть отпечатки журналов в журналах воздушного потока.