[Airflow] ERROR - Triggerer's async thread was blocked for X.XX seconds, likely by a badly-written trigger.

상황

docker-compose up -d를 실행한 후 airflow 로컬 UI에 들어갔으나 에러가 발생하여, 확인해보니 다음과 같은 에러가 발생하였다

[2023-06-20 06:52:51,575] {triggerer_job.py:348} ERROR - Triggerer's async thread was blocked for 0.52 seconds, likely by a badly-written trigger. Set PYTHONASYNCIODEBUG=1 to get more information on overrunning coroutines.

 

Airflow에서 트리거 문제의 원인으로 여러가지(트리거의 작업 차단, 너무 많은 트리거, 콜백 실행 중 Airflow 작업자 비정상 종료, 트리거의 무한 루프, 트리거 클래스 없음 등)이 있다.

그 중 구글 검색을 하면 가장 많이 발견되는 원인이 용량 부족이다.

따라서, 때마침 슬랙과 게더, vscode, 윈도우 엣지 등 많은 프로그램들을 실행시키고 있었기 때문에

많은 용량을 차지하는 순부터 프로그램 종료를 하였고 바로 해결되었다.

 

참고자료

Airflow 트리거 문제 해결  |  Cloud Composer  |  Google Cloud

Airflow 트리거 문제 해결  |  Cloud Composer  |  Google Cloud

 

Docker/Airflow trigger and memory issue : r/docker (reddit.com)

r/docker on Reddit: Docker/Airflow trigger and memory issue

 

Starting airflow with Docker - trigger ERROR - Stack Overflow

Starting airflow with Docker - trigger ERROR