JHB의 삽질 이야기

이 글은 Create a Serverless Workflow 튜토리얼 글을 따라 하면서 내용을 최신으로 바꾸고 적당히 순서도 바꿔가며 작성한 글이다. Lambda에서 Lambda를 호출하려면 어떻게 해야할까? 여러가지 방법이 있겠지만 flow에 따라 적절한 Lambda 함수가 호출되도록 하기에 가장 적절한 솔루션은 AWS Step Functions 라고 생각한다. State Machine & Serverless Workflow 생성 우리가 만들 Workflow는 아래를 수행한다. Support Case를 생성하는 Lambda Function을 호출 문제 해결 담당자에게 Assign 하는 Lambda Function을 Invoke ... 이 과정에서 Lambda Function들 간에 Data를 전달하여 ..

Root Volume을 Detach 한 후 다시 Attach 했더니... 부팅이 안된다. 어찌 해야 하는가? 답은 위 처럼.. 루트 볼륨은 /dev/sda1 로 마운트 해줘야 되더라. (리눅스 기준)

제목 그대로.. 나같은 경우는 계속해서 ssh 연결에 connection refused가 뜨더라. 일단 SSH가 제대로 떳나 확인 하기 위해 netcat 으로 22번 포트를 확인하자 nc 22 치면 결과가 나온다. AWS EC2의 sshd_config 함부로 건들여서 ssh 접속 안되면.. 고치기 되게 까다롭다. 고치려면 ROOT EBS를 Detach 후 다른쪽 EC2에 붙여서 Mount 한 후, 다시 원복 해야 된다. 이때 내가 고친게 뭔지 기억이 안난다면 더 난리난다... 다행히도 /var/log/syslog 파일에 부트 에러가 남아 있었다. sshd_config의 123번째 라인에 잘못 추가한 에러 내용이 담겨 있었다.. 해당 라인 삭제하니 원상 복구..

Firehose로 들어오는 Record Data를 변환 하여 Destination으로 보내는 것이 가능하다. (보통은 S3로 보냄) 샘플 소스는 아래 주소 https://github.com/jakemraz/aws-kinesisfirehose-convert-lambda 기본으로 주는 템플릿을 가지고 아무리 시도해도 아래와 같은 에러가 나더라 Invalid output structure: Please check your function and make sure the processed records contain valid result status of Dropped, Ok, or ProcessingFailed. { "attemptsMade": 4, "arrivalTimestamp": 157528128791..

개요 Video Streams를 Rekognition으로 분석하여 Kinesis Data Streams 분석 결과를 실시간으로 Data Streams에 전달하는 과정을 살펴보자 https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/recognize-faces-in-a-video-stream.html 사전 지식 Kinesis Kinesis 제품군에는 Kinesis Data Stream, Kinesis Data Firehose, Kinesis Video Stream, Kinesis Data Analytics 의 4가지가 있다. Kinesis Data Stream 확장 가능하고 내구성이 뛰어난 실시간 데이터 스트리밍 서비스. 수십만개의 소스에서 초당 GB의 데이터..

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..

AWS CDK로 lambda와 API Gateway 생성하기 (Typescript) https://cdkworkshop.com/ 를 따라한 튜토리얼이다. 내용 일부에 변경이 있어서 변경 내용을 포함하였다. 초기 셋팅 너무 뻔해서 설명할게 없다. https://cdkworkshop.com/15-prerequisites.html 이 사이트에 있는 것 + 추가로 아래의 셋팅을 진행한다. GIT 설치 AWS CLI 설치 cdk-workshop용 Programmatic access User 생성 및 aws configure node js 설치 (나의 경우 v12.6.0으로 진행) aws cdk toolkit 설치 (npm install -g aws-cdk) python 설치 (나는 typescript로 할거라서 ..

내가 실험한 환경은 Macbook Mojave 버전이다. 아래의 명령어를 수행하니 정상적으로 KVS로 영상이 전송되는 것을 확인했다. 당연히 Kinesis Video Producer Library (kvssink)는 사전에 설치해야 함. $ gst-launch-1.0 autovideosrc ! videoconvert \ ! video/x-raw,format=I420,width=640,height=480 \ ! vtenc_h264_hw allow-frame-reordering=FALSE realtime=TRUE max-keyframe-interval=45 bitrate=512 \ ! h264parse \ ! video/x-h264,stream-format=avc,alignment=au,profile=bas..