JHB의 삽질 이야기

Private Subnet에 배포된 EC2 인스턴스가 S3에 Gateway Endpoint를 통해 연결해야 하는 요구 사항을 처리해야 했다. 당연히 인터넷 망을 타면 안되는 상황이었다. 그리고 당연히 S3의 기본 정책은 Block Public Access On 인 상태. AWS SDK에서 제공하는 s3의 GetObject API를 사용하는건 전혀 문제가 되지 않았다. AWS SDK에서 접근 하는 것은 EC2의 InstanceRole Credential 정보를 담고 나가기 때문이다. 문제는, AWS SDK 없이 curl, wget, ffmpeg 등이 standalone application을 통해 S3의 주소로 접근 하려 할 때 문제가 발생했다. 일단, S3 주소는 크게 아래의 두가지가 존재한다. s3.a..

get-federation-token $ aws sts get-federation-token --name test { "Credentials": { "AccessKeyId": "ASIAU2YLFTR7ALYQWKL2", "SecretAccessKey": "pffWqq0UIbukJ0foBYxQ1Q+WpCfIapojN1MvCLgE", "SessionToken": "IQoJb3JpZ2luX2VjEAMaDmFwLW5vcnRoZWFzdC0yIkcwRQIhAJuho9YXm0q9eLX2ju7ZVX7TXnOdMIJvks96fZIFeLhMAiAJAgcuyE43fBS8wCronDADWzpiAVIsQ0xbeiVT9szwcCqDAgiN//////////8BEAEaDDMzMjM0NjUzMDk0MiIMrkO+6hagUL01xvnW..

CDK로 스택을 배포 할 때 Dev / Test / Prod 등의 환경으로 배포 하기 위해 여러가지 방법이 있다. 여러 가지 방법 중 핵심이 되는 것은 결국 '스택의 아이디를 배포 환경에 맞추어 바꾸어 준다'는 것이다. 예를 들어 FooStack이 있을 경우 new FooStack(app, `FooStack-${env}`); 와 같은 형태로 Stack의 ID를 정해놓고, env값을 dev, test, prod 로 각각 배포하면 FooStack-dev FooStack-test FooStack-prod 이렇게 3개의 스택이 생성된다. (당연히 스택 내의 리소스 생성시 리소스의 name을 배포 환경에 관계 없이 고정하는 행위는 절대 하지 말것... 예를 들면 Lambda Function의 이름이..

Cloud9에서 Python 코드를 라인바이라인으로 디버깅 할 수 있다 이때 ikp3db 라는 것을 사용한다. pip install ikp3db 를 통해 ikp3db 설치 한다. 이후 Runner를 수정해야 하는데, 버그가 있는지 Edit한 Runner가 그대로 적용이 안되더라. 그래서 Python Runner의 기본값을 복사한 후 script 항목에 venv를 source로 추가하는 스크립트를 넣는다. (ikp3db를 venv에 깔았다는 전제) 그리고 나서 이를 새로 저장하고, Python으로 실행하면 디버깅이 가능해진다.

우선 크롬에 TamperMonkey 를 설치 한다. 이후 github.com/skipio11/tampermonkey/tree/master/aws-doc-eng-tooltip-appender skipio11/tampermonkey Contribute to skipio11/tampermonkey development by creating an account on GitHub. github.com 스크립트를 설치 하면 AWS의 개발자 가이드 등에서 한글로 돼있는 문서에 마우스를 올리면 영문 툴팁을 확인 할 수 있다.

우선 태깅 돼있지 않은 14000개의 리소스에 TAG를 다는 과정을 소개한 VROONG의 기술 블로그 mesh.dev/20210217-dev-notes-003-aws-tag-01/ AWS Tag 적용 가이드와 활용 - 1부 :: Mesh Korea Makers Blog 안녕하세요! 메쉬코리아 플랫폼실에서 DevOps를 담당하고 있는 백수현입니다. 이번에 AWS Tag 적용 가이드와 활용 방안에 대해 공유해 드리고자 글을 작성하게 되었습니다. 여러분은 Tagging… mesh.dev 매우 유용하다. 특히 비용을 절감하는데 유용했다고 한다. Config와 Lambda를 통해 TAG Resource를 분석하고 Tagging 하는 부분이 인상적. 이제 어떻게 TAG를 다는 것이 좋을까? www.cloudfore..

Gateway Load Balancer 관련 좋은 글이 있어서 링크 합니다. www.stevenjlee.net/2021/03/25/%EB%94%B0%EB%9D%BC%ED%95%98%EA%B8%B0-aws-gwlb-gateway-load-balancer/ [따라하기] AWS GWLB (Gateway Load Balancer) | STEVEN J. LEE AWS 의 GWLB (Gateway Load Balancer) 는 네트워크 트래픽을 다루는 다양한 여러 업체의 가상 어플라이언스 들을 쉽고 비용 효율적으로 배포, 확장 그리고 관리 해주는 완전 관리형 서비스입니다. 예를 들 www.stevenjlee.net

IoT에서 사용하는 MQTT의 QoS 0이건 1이건 2이건.. Kafka의 No guarantee건 At most once건 At least once 건.. 누락과 중복 문제는 어쩔 수 없이 발생한다. Kafka에서는 Exactly Once를 사용해서 처리 할 수 있다. medium.com/techwasti/idempotent-kafka-consumer-442f9aec991e Idempotent Kafka Consumer In the last couple of articles, we have seen how Kafka guarantees message processing, as part of this we saw idempotent Kafka producers… medium.com 외에는, 잃는 것 보단..