JHB의 삽질 이야기

Firehose로 들어오는 Record Data를 변환 하여 Destination으로 보내는 것이 가능하다. (보통은 S3로 보냄) 샘플 소스는 아래 주소 https://github.com/jakemraz/aws-kinesisfirehose-convert-lambda 기본으로 주는 템플릿을 가지고 아무리 시도해도 아래와 같은 에러가 나더라 Invalid output structure: Please check your function and make sure the processed records contain valid result status of Dropped, Ok, or ProcessingFailed. { "attemptsMade": 4, "arrivalTimestamp": 157528128791..

개요 Video Streams를 Rekognition으로 분석하여 Kinesis Data Streams 분석 결과를 실시간으로 Data Streams에 전달하는 과정을 살펴보자 https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/recognize-faces-in-a-video-stream.html 사전 지식 Kinesis Kinesis 제품군에는 Kinesis Data Stream, Kinesis Data Firehose, Kinesis Video Stream, Kinesis Data Analytics 의 4가지가 있다. Kinesis Data Stream 확장 가능하고 내구성이 뛰어난 실시간 데이터 스트리밍 서비스. 수십만개의 소스에서 초당 GB의 데이터..

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..

말인 즉슨 선 Project, 후 Github인 케이스. 아무 것도 없는 Blank Github인 경우는 고민 할게 없다. 먼저 작업 하던 프로젝트를 A, 후에 Github에 생성한 Repository를 B라고 하면 그냥 B에 A를 push 하면 끝난다. 하지만, B를 생성 할 때, License, Readme, gitignore 등을 생성했다면? 당연히 해당 commit이 B에 생성 됐을 것이고, A와 B를 합치는 것이 단순한 작업이 아니다. 내가 선택한 방법은 A프로젝트에 작업하던 Commit History를 잃지 않기 위해 B의 Initial Commit 위로 A 프로젝트를 Rebase 하는 것이다. 상황은 이렇다. aws_boto3_helper 라는 프로젝트를 이미 Git을 통해 작업 중이었고, ..

차라리 AWS 전용 블로그, Windows 개발 전용 블로그, Java 언어 전용 블로그.. 였다면 좀 더 쉬웠을까 예를 들어 React Native를 이용한 AWS Amplify용 FCM 푸쉬 메세지 개발 이라는 제목으로 글을 포스팅 한다면... 이 글은 Mobile카테고리? JS카테고리? React Native카테고리? AWS Mobile? AWS? AWS Amplify? AWS 개발 관련 된 것이니까 AWS Development? FCM이니까 Android? 이런게 여러개다. CDK를 이용한 EKS 배포 AWS Pinpoint를 이용한 Custom Event의 Raw Log를 S3에 수집하자 등등.. 뭔가 두서없이 글을 막 쓰다보니 카테고리 구분짓기가 너무 어렵다. 내가 정리를 잘 못하기 때문인 것..

group by 가 포함된 쿼리문에서는 group by가 중요하다. select survived, count(1) from titanic group by survived 쿼리가 위와 같다면.. 앞에 select에 있는 survived가 중요한게 아니라 group by에 있는 survived가 중요하다. SQL문의 select에서 survived를 선택한 건 뒤에 group by 에서 survived가 사용되기 때문이다.

AWS CDK로 lambda와 API Gateway 생성하기 (Typescript) https://cdkworkshop.com/ 를 따라한 튜토리얼이다. 내용 일부에 변경이 있어서 변경 내용을 포함하였다. 초기 셋팅 너무 뻔해서 설명할게 없다. https://cdkworkshop.com/15-prerequisites.html 이 사이트에 있는 것 + 추가로 아래의 셋팅을 진행한다. GIT 설치 AWS CLI 설치 cdk-workshop용 Programmatic access User 생성 및 aws configure node js 설치 (나의 경우 v12.6.0으로 진행) aws cdk toolkit 설치 (npm install -g aws-cdk) python 설치 (나는 typescript로 할거라서 ..

mvn package 명령어 이후 $ mvn exec:java -Dexec.mainClass="kr.jhb.{ClassName}" 혹은 org.codehaus.mojo exec-maven-plugin 1.6.0 org.example.basicapp.App 를 추가한 후에 mvn exec:java 로 실행하면 된다.