전체 글

우선 Airflow에 BigQuery 같은 3rd Party tool을 연동하려면, Airflow의 Providers packages를 설치해야한다. 아래는 지원하고 있는 Provider list이다. 그런데 애초에 Airflow를 설치할 때, 이런 Providers를 같이 설치하는 명령어가 있다. 진작 이걸 쓸 걸 그랬다..... 너무 queck start만 보지말고, 공식 문서를 꼼꼼히 보자 AIRFLOW_VERSION=2.1.2 PYTHON_VERSION="$(python --version | cut -d " " -f 2 | cut -d "." -f 1-2)" CONSTRAINT_URL="" pip install "apache-airflow[async,postgres,google]==${AIRFLO..

AWS EC2 인스턴스에서 이메일 발송 기능을 구현하기 위해 AWS SES를 사용하기로 했다. Django-SES라는 패키지가 있었지만, Django-SES가 boto3에 이미 의존성이 있는 패키지이고, boto3 라이브러리에서도 충분히 사용가능하기 때문에 Django-SES는 사용하지 않았다. SES 설정 이메일 발송을 위해 SES 콘솔에서 Create identity를 눌러 발송에 사용할 이메일 주소나 메일 도메인을 생성한다. 나는 이메일 주소를 선택하였는데, 생성한 이메일 주소로 인증 메일이 수신된다. 그리고 그 메일을 확인하여 인증을 마친다. 인증을 마치고 SES 콘솔에서 Verified Identies를 선택하면 제대로 인증이 되었는지 확인할 수 있다. boto3 라이브러리 설치 SES를 사용하..

Zappa란? Zappa는 서버리스를 아주 손쉽게 구축할 수 있는 라이브러리이다. Zappa를 사용하면 Django나 Flask같은 프레임워크를 AWS S3+AWS Lambda + API GateWay로 어플리케이션을 구축 및 배포할 수 있다. 준비물 Zappa를 세팅하기 위해선 아래 세가지가 필요하다. pipenv AWS accesskey, secret key Python 3.6 ^ 설치 가상환경에 Zappa를 설치한다. $ pip install zappa Zappa를 초기화한다. $ zappa init Zappa initialize zappa 스테이지 이름 기본값은 dev이다. zappa s3 버킷 이름 설정 S3버킷이 없을 경우 새로 생성하며, 임의의 이름을 지정한다. S3버킷이 이미 있을 경우 새..