사진과 음악을 좋아하는 개발자 지망생의 블로그

참여 중인 프로그래머스 데이터엔지니어링 데브코스 3차 프로젝트가 마무리되어 가고 있다. 이전 프로젝트에서 ETL 과정을 거쳐 대시보드를 만드는 것을 하였는데 이번 프로젝트에는 airflow를 활용하여 스케줄링을 하여 자동으로 데이터를 ETL하고 적재한 데이터를 활용하여 대시보드는 만드는 것이었다. 그리고, 나느 이번 프로젝트에서 ETL 데이터 파이프라인을 구축하는 역활을 맡았다. 어쩌다 보니.... 라고 보기엔 그동안 핵심역활을 하지못한 나를 위해 팀원들이 배려해준거 같았다 그래서 최대한 완벽하게 해보고 싶었다. 물론 완벽하게 해내진 못했다. 기존에 만들었던 코드들을 Dag로 이식하는 과정에서 여러 에러가 발생하면서 예상치 못한 에러가 발생 시 어떻게 대처할지, 그 대처법을 어떻게 자동화할지에 대해 고민..

1. 무엇이든 너무 가볍게 생각하지 말자 이번 팀 미팅 때 프로젝트를 발표하면서 무수히 많은 질문을 받았다. 이전에 있었던 전체 프로젝트 발표 때와 비교하면 정말 디테일하고 많은 질문을 받았다. 전체 프로젝트 땐, 참여율도 저조했고, 질문들 그리 날카롭지 않았는데, 이번 발표 때는, 이때만을 기다린 양 수많은 질문들이 쏟아졌다. 너무나 당황스러웠다. '나한테 왜 그러지', '이전엔 안 그랬는데, 왜 갑자기 이렇게 적극적이지.'라는 생각이 먼저 들었다. 하지만, 이미 늦었다. 질문은 이미 던저졌고, 나는 질문에 대한 대답을 머릿속에 준비하고 있어야 했다. 아니다. 이미 예상 질문을 어느정도 준비해두고 있어야 했다. 최소한, 조원들끼리 미리 맞춰놓을 건 맞춰두고 들어갔어야 했다. 하지만, 질의응답을 너무 가..