JHB의 삽질 이야기

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..

말인 즉슨 선 Project, 후 Github인 케이스. 아무 것도 없는 Blank Github인 경우는 고민 할게 없다. 먼저 작업 하던 프로젝트를 A, 후에 Github에 생성한 Repository를 B라고 하면 그냥 B에 A를 push 하면 끝난다. 하지만, B를 생성 할 때, License, Readme, gitignore 등을 생성했다면? 당연히 해당 commit이 B에 생성 됐을 것이고, A와 B를 합치는 것이 단순한 작업이 아니다. 내가 선택한 방법은 A프로젝트에 작업하던 Commit History를 잃지 않기 위해 B의 Initial Commit 위로 A 프로젝트를 Rebase 하는 것이다. 상황은 이렇다. aws_boto3_helper 라는 프로젝트를 이미 Git을 통해 작업 중이었고, ..

차라리 AWS 전용 블로그, Windows 개발 전용 블로그, Java 언어 전용 블로그.. 였다면 좀 더 쉬웠을까 예를 들어 React Native를 이용한 AWS Amplify용 FCM 푸쉬 메세지 개발 이라는 제목으로 글을 포스팅 한다면... 이 글은 Mobile카테고리? JS카테고리? React Native카테고리? AWS Mobile? AWS? AWS Amplify? AWS 개발 관련 된 것이니까 AWS Development? FCM이니까 Android? 이런게 여러개다. CDK를 이용한 EKS 배포 AWS Pinpoint를 이용한 Custom Event의 Raw Log를 S3에 수집하자 등등.. 뭔가 두서없이 글을 막 쓰다보니 카테고리 구분짓기가 너무 어렵다. 내가 정리를 잘 못하기 때문인 것..

group by 가 포함된 쿼리문에서는 group by가 중요하다. select survived, count(1) from titanic group by survived 쿼리가 위와 같다면.. 앞에 select에 있는 survived가 중요한게 아니라 group by에 있는 survived가 중요하다. SQL문의 select에서 survived를 선택한 건 뒤에 group by 에서 survived가 사용되기 때문이다.

AWS CDK로 lambda와 API Gateway 생성하기 (Typescript) https://cdkworkshop.com/ 를 따라한 튜토리얼이다. 내용 일부에 변경이 있어서 변경 내용을 포함하였다. 초기 셋팅 너무 뻔해서 설명할게 없다. https://cdkworkshop.com/15-prerequisites.html 이 사이트에 있는 것 + 추가로 아래의 셋팅을 진행한다. GIT 설치 AWS CLI 설치 cdk-workshop용 Programmatic access User 생성 및 aws configure node js 설치 (나의 경우 v12.6.0으로 진행) aws cdk toolkit 설치 (npm install -g aws-cdk) python 설치 (나는 typescript로 할거라서 ..

mvn package 명령어 이후 $ mvn exec:java -Dexec.mainClass="kr.jhb.{ClassName}" 혹은 org.codehaus.mojo exec-maven-plugin 1.6.0 org.example.basicapp.App 를 추가한 후에 mvn exec:java 로 실행하면 된다.

내가 실험한 환경은 Macbook Mojave 버전이다. 아래의 명령어를 수행하니 정상적으로 KVS로 영상이 전송되는 것을 확인했다. 당연히 Kinesis Video Producer Library (kvssink)는 사전에 설치해야 함. $ gst-launch-1.0 autovideosrc ! videoconvert \ ! video/x-raw,format=I420,width=640,height=480 \ ! vtenc_h264_hw allow-frame-reordering=FALSE realtime=TRUE max-keyframe-interval=45 bitrate=512 \ ! h264parse \ ! video/x-h264,stream-format=avc,alignment=au,profile=bas..

Unable to assume the service linked role. Please verify that the ECS service linked role exists. (Service: AmazonECS; Status Code: 400; Error Code: InvalidParameterException 나의 경우는 CDK를 통하여 this.ecsService = new ecsPatterns.NetworkLoadBalancedFargateService ... 코드 호출 중에 위의 에러가 발생했다. IAM에 Service Linked Role(서비스 연결 역할)을 만들어야 한다. https://docs.aws.amazon.com/ko_kr/AmazonECS/latest/developerguide/us..