JHB의 삽질 이야기

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..

AWS CDK로 lambda와 API Gateway 생성하기 (Typescript) https://cdkworkshop.com/ 를 따라한 튜토리얼이다. 내용 일부에 변경이 있어서 변경 내용을 포함하였다. 초기 셋팅 너무 뻔해서 설명할게 없다. https://cdkworkshop.com/15-prerequisites.html 이 사이트에 있는 것 + 추가로 아래의 셋팅을 진행한다. GIT 설치 AWS CLI 설치 cdk-workshop용 Programmatic access User 생성 및 aws configure node js 설치 (나의 경우 v12.6.0으로 진행) aws cdk toolkit 설치 (npm install -g aws-cdk) python 설치 (나는 typescript로 할거라서 ..

내가 실험한 환경은 Macbook Mojave 버전이다. 아래의 명령어를 수행하니 정상적으로 KVS로 영상이 전송되는 것을 확인했다. 당연히 Kinesis Video Producer Library (kvssink)는 사전에 설치해야 함. $ gst-launch-1.0 autovideosrc ! videoconvert \ ! video/x-raw,format=I420,width=640,height=480 \ ! vtenc_h264_hw allow-frame-reordering=FALSE realtime=TRUE max-keyframe-interval=45 bitrate=512 \ ! h264parse \ ! video/x-h264,stream-format=avc,alignment=au,profile=bas..

Unable to assume the service linked role. Please verify that the ECS service linked role exists. (Service: AmazonECS; Status Code: 400; Error Code: InvalidParameterException 나의 경우는 CDK를 통하여 this.ecsService = new ecsPatterns.NetworkLoadBalancedFargateService ... 코드 호출 중에 위의 에러가 발생했다. IAM에 Service Linked Role(서비스 연결 역할)을 만들어야 한다. https://docs.aws.amazon.com/ko_kr/AmazonECS/latest/developerguide/us..