3번째 프로젝트가 마무리되는 시점에서 쓰는 회고록

참여 중인 프로그래머스 데이터엔지니어링 데브코스 3차 프로젝트가 마무리되어 가고 있다.

 

이전 프로젝트에서 ETL 과정을 거쳐 대시보드를 만드는 것을 하였는데

이번 프로젝트에는 airflow를 활용하여 스케줄링을 하여 자동으로 데이터를 ETL하고 

적재한 데이터를 활용하여 대시보드는 만드는 것이었다.

 

그리고, 나느 이번 프로젝트에서 ETL 데이터 파이프라인을 구축하는 역활을 맡았다.

 

어쩌다 보니.... 라고 보기엔 그동안 핵심역활을 하지못한 나를 위해 팀원들이 배려해준거 같았다

 

그래서 최대한 완벽하게 해보고 싶었다.

 

물론 완벽하게 해내진 못했다. 

 

기존에 만들었던 코드들을 Dag로 이식하는 과정에서 여러 에러가 발생하면서 

 

예상치 못한 에러가 발생 시 어떻게 대처할지, 그 대처법을 어떻게 자동화할지에 대해 

고민해보지도 못했고,

 

슬랙 알림 기능 추가도 간신히 했다. (execution_data는 타임존과 상관없이 무조건 UTC기준인가보다..)

 

이제 CI/CD 도 추가해야하는데 지금은 조금 귀찮다

 

airflow를 이용해 프로젝트를 진행하면서 앞으로 어떻게 공부해야할지 고민이 들었다.

 

지금한 프로젝트를 발전시켜나아가는 방향으로 갈 생각인데....

 

어디서부터 발전을 시켜나가야할지 조금 모호하지만 조금 정리된건 다음과 같다..

 

1. ETL 각각의 코드의 성능 개선

2. Airflow 운영 중 변경/실패에 대한 처리 

3. 다른 팀 프로젝트 ETL dag를 함께 돌려보고 Airflow 효율적인 운영 방안 도모

4. CI/CD

5. ETL, Airflow.. 그 다음은??

 

그러고보면 아직 갈길이 정말 먼거 같다.