В Apache Airflow Tool DAG не запускается из-за проблемы с повторяющимся вводом в таблице task_instance

Question

Сегодня весь день я получал эту ошибку в планировщике Airflow.

sqlalchemy.exc.IntegrityError: (_mysql_exceptions.IntegrityError) (1062, "Duplicate entry '%' fir key 'PRIMARY')")

Из-за этого планировщик воздушного потока останавливался, и каждый раз, когда я его запускал, возникала одна и та же проблема

Answer 1

Это связано с тем, что MySQL ON UPDATE CURRENT_TIMESTAMP и опубликован в JIRA of Airflow:

https://issues.apache.org/jira/projects/AIRFLOW/issues/AIRFLOW-3045?filter=allopenissues

Я исправил это, изменив таблицу на

alter table `task_instance` change `execution_date` `execution_date` TIMESTAMP(6) not null DEFAULT CURRENT_TIMESTAMP(6);