일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
- 데이터엔지니어링
- CS
- 웹크롤링
- 취준
- Amazon
- AWS
- 데이터웨어하우스
- 파이썬
- 부트캠프
- SQL
- Service
- 웹자동화
- 클라우드
- 개발
- 데이터베이스
- 웹스크래핑
- Django
- 데브코스
- 자료구조
- 기술면접
- DataWarehouse
- 개념정리
- 운영체제
- 에어플로우
- 알고리즘
- airflow
- 프로그래머스
- WEB
- 데이터엔지니어
- 관계형데이터베이스
- Today
- Total
목록개발/삽질일기 (6)
사진과 음악을 좋아하는 개발자 지망생의 블로그
필요한 패키지 설치를 위한 dockerfile 작성 FROM ubuntu:latest # 필요한 패키지 설치 RUN apt-get update && apt-get install -y curl gnupg # Google Chrome 설치 RUN curl -sSL https://dl.google.com/linux/linux_signing_key.pub | apt-key add - RUN echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list RUN apt-get update && apt-get install -y google-chrome-stable..
공공데이터 api 관련해서 프로젝트를 진행하던 중 궁금증이 생겼다 요청변수가 pageNo, numOfRows 인 공공데이터 api가 있다 pageNo는 가져올 page수이고, numOfRows 가져올 열(데이터)의 갯수이다. 예를들어, 내가 구직공고 데이터 100개를 가져오고 싶을때 pageNo = 1, numOfRows = 100 으로 가져올수도 있고, pageNo = 1 ~ 10, numOfRows = 10 으로 가져올수도 있다. 그리고, pageNo = 10, numOfRows = 10에 경우 모든 정보를 보려면 api 호출 시 pageNo를 1부터 10까지 바꿔서 호출해야한다. 즉, 10번 호출해야한다. 그런데, 공공데이터 api는 느리다. 따라서, 공공데이터 api를 통해 데이터를 가져오려면 최..
상황 docker-compose up -d를 실행한 후 airflow 로컬 UI에 들어갔으나 에러가 발생하여, 확인해보니 다음과 같은 에러가 발생하였다 [2023-06-20 06:52:51,575] {triggerer_job.py:348} ERROR - Triggerer's async thread was blocked for 0.52 seconds, likely by a badly-written trigger. Set PYTHONASYNCIODEBUG=1 to get more information on overrunning coroutines. Airflow에서 트리거 문제의 원인으로 여러가지(트리거의 작업 차단, 너무 많은 트리거, 콜백 실행 중 Airflow 작업자 비정상 종료, 트리거의 무한 루프,..
정확히는 다음과 같이 에러가 발생했 airflow-scheduler_1 | airflow-worker_1 | .................... airflow-worker_1 | ERROR! Maximum number of retries (20) reached. airflow-worker_1 | airflow-worker_1 | Last check result: airflow-worker_1 | $ airflow db check airflow-worker_1 | Unable to load the config, contains a configuration error. airflow-worker_1 | Traceback (most recent call last): airflow-worker_1 | File..

1) 나의 영어 타자 실력을 믿지 말자 오늘도 어제와 마찬가지로 에러와 마주치고 만다 사건은 사용자가 직접 설문조사 질문을 작성하여 post 버튼을 누르면 데이터에 사용자가 작성한 질문에 저장되고, 저장이 잘됐다는 내용과 함께 사용자가 저장한 설문조사 질문의 질문 내용과 질문 id, 질문의 소유자(사용자)를 띄워주는 프로그램을 작성하는 데서 발생하였다. 해당 코드를 작성하고 컴파일 한 뒤 POST 버튼을 누르는 순간! 에러 내용을 보니 'owner'라는 변수를 못찾겠다고 하더라 이상하다.. 분명 있는데.. 방금 전 작성한 소스를 아무리 봐도 잘못된 점을 못 찾았다. 그렇다면, 그 윗단에 해당하는 소스에서 잘못된 게 있을 거라 판단하여, 모델들을 정의하는 models.py 소스 파일을 찾아봤고 Questi..

1) templates 폴더 어디로 가지..? 강의를 수강하면서 따라하는데, 분명 그래도 따라했는데... 에러가 발생했다. 내용을 보니 template이 없다는 것이었다. 난 분명 template을 만들었다고 생각했는데, 인식을 못하는 것이다. 그렇다면 templates 폴더의 위치가 잘못됐다는 것이었다. templates 폴더를 조정해주니 해결되었다. 2) 중괄호 두개 쓰는거 정말 맞아? 처음 html에서 매개변수를 쓸 때 중괄호 2개를 쓰는것에 익숙하지 않았다. 처음 봤을 때, 강사님이 잘 못 쓰신줄 알았다. 그래서, 중괄호를 하나만 써봤고, 내가 틀렸다는 것을 확인하였다 3) 띄어쓰기도 조심하자... 매개변수에 있어 띄어스기를 해도 될거 같은데 안쓴것을 보면 한번 의심해보자....