Airflow 로컬에서 세팅하기

Airflow 설치

$ pip install apache-airflow

Airflow 세팅

1. AIRFLOW_HOME 환경 변수 세팅

• 기본으로는 ~/airflow에 환경 세팅이 되기 때문에, 나의 경우에는 현재 경로에 AIRFLOW_HOME 환경 변수를 별도로 지정했다.
• 경로를 잘 지정하지않으면, airflow의 유저 권한이 없기 때문에 정상적으로 작동하지 않는다.

export AIRFLOW_HOME=`pwd` # Airflow 현재 경로에 환경 변수를 설정한다.

2.  airflow db 세팅

• 기본적으로 mysqllite로 세팅이 된다.
• airflow db init을 여러번 해도 괜찮다고한다.(참고 자료)

$ airflow db init

3. 유저 생성하기

airflow users create \\
        --username admin \\
        --firstname sh \\
        --lastname admin \\
        --role Admin \\
        --email admin@test.com

서버 열기

기본적으로 8080 포트에 띄워진다. (http://localhost:8080/)

$ airflow webserver

스케쥴러 열기

스케쥴러를 열면, dag들이 schedule interval에 맞게 돌아가게 된다.

$ airflow scheduler