JHB의 삽질 이야기

Firehose로 들어오는 Record Data를 변환 하여 Destination으로 보내는 것이 가능하다. (보통은 S3로 보냄) 샘플 소스는 아래 주소 https://github.com/jakemraz/aws-kinesisfirehose-convert-lambda 기본으로 주는 템플릿을 가지고 아무리 시도해도 아래와 같은 에러가 나더라 Invalid output structure: Please check your function and make sure the processed records contain valid result status of Dropped, Ok, or ProcessingFailed. { "attemptsMade": 4, "arrivalTimestamp": 157528128791..

개요 Video Streams를 Rekognition으로 분석하여 Kinesis Data Streams 분석 결과를 실시간으로 Data Streams에 전달하는 과정을 살펴보자 https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/recognize-faces-in-a-video-stream.html 사전 지식 Kinesis Kinesis 제품군에는 Kinesis Data Stream, Kinesis Data Firehose, Kinesis Video Stream, Kinesis Data Analytics 의 4가지가 있다. Kinesis Data Stream 확장 가능하고 내구성이 뛰어난 실시간 데이터 스트리밍 서비스. 수십만개의 소스에서 초당 GB의 데이터..

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..

AWS CDK로 lambda와 API Gateway 생성하기 (Typescript) https://cdkworkshop.com/ 를 따라한 튜토리얼이다. 내용 일부에 변경이 있어서 변경 내용을 포함하였다. 초기 셋팅 너무 뻔해서 설명할게 없다. https://cdkworkshop.com/15-prerequisites.html 이 사이트에 있는 것 + 추가로 아래의 셋팅을 진행한다. GIT 설치 AWS CLI 설치 cdk-workshop용 Programmatic access User 생성 및 aws configure node js 설치 (나의 경우 v12.6.0으로 진행) aws cdk toolkit 설치 (npm install -g aws-cdk) python 설치 (나는 typescript로 할거라서 ..

내가 실험한 환경은 Macbook Mojave 버전이다. 아래의 명령어를 수행하니 정상적으로 KVS로 영상이 전송되는 것을 확인했다. 당연히 Kinesis Video Producer Library (kvssink)는 사전에 설치해야 함. $ gst-launch-1.0 autovideosrc ! videoconvert \ ! video/x-raw,format=I420,width=640,height=480 \ ! vtenc_h264_hw allow-frame-reordering=FALSE realtime=TRUE max-keyframe-interval=45 bitrate=512 \ ! h264parse \ ! video/x-h264,stream-format=avc,alignment=au,profile=bas..

Unable to assume the service linked role. Please verify that the ECS service linked role exists. (Service: AmazonECS; Status Code: 400; Error Code: InvalidParameterException 나의 경우는 CDK를 통하여 this.ecsService = new ecsPatterns.NetworkLoadBalancedFargateService ... 코드 호출 중에 위의 에러가 발생했다. IAM에 Service Linked Role(서비스 연결 역할)을 만들어야 한다. https://docs.aws.amazon.com/ko_kr/AmazonECS/latest/developerguide/us..