JHB의 삽질 이야기

와.. 겨우 이것 때문에 2시간을 삽질했다. AWS Code Pipeline 을 통한 CI/CD 를 구성하는 경우 가장 쉬운 구성으로 택하는 것이 Code Commit에 올린 소스를 Code Build 에서 빌드 하는 것이다. Code Build의 소스를 Code Commit으로 한 경우라면 문제가 안된다. 당연히 해당 소스로 부터 코드를 가져온다. 하지만.. 여러가지 Repository를 Clone해서 사용하려는 경우에는..? 어떻게 해야 하는가? HTTPS 로 Git clone 하자니.. 아이디, 패스워드를 입력해야 하니.. 아래와 같은 에러가 난다. fatal: could not read Username for 'https://git-codecommit.us-west-2.amazonaws.c..

node에서 aws-sdk 사용 할 때 async / await 를 사용하려면 어떻게 해야 할까 예를 들어 DynamoDB의 Document Client 에서 update 를 하려고 하면 해당 부분 소스는 아래와 같다 update: function(params, callback) { var operation = this.serviceClientOperationsMap['update']; return this.makeServiceRequest(operation, params, callback); }, 여기 있는 makeServiceRequest는 무엇일까? 따라가 보면 꽤 흥미진진하다. 중요한 것은 request.d.ts에 있는 class Request를 리턴한다는 것이다. 그리고 해당 클래..

이 글은 Create a Serverless Workflow 튜토리얼 글을 따라 하면서 내용을 최신으로 바꾸고 적당히 순서도 바꿔가며 작성한 글이다. Lambda에서 Lambda를 호출하려면 어떻게 해야할까? 여러가지 방법이 있겠지만 flow에 따라 적절한 Lambda 함수가 호출되도록 하기에 가장 적절한 솔루션은 AWS Step Functions 라고 생각한다. State Machine & Serverless Workflow 생성 우리가 만들 Workflow는 아래를 수행한다. Support Case를 생성하는 Lambda Function을 호출 문제 해결 담당자에게 Assign 하는 Lambda Function을 Invoke ... 이 과정에서 Lambda Function들 간에 Data를 전달하여 ..

Root Volume을 Detach 한 후 다시 Attach 했더니... 부팅이 안된다. 어찌 해야 하는가? 답은 위 처럼.. 루트 볼륨은 /dev/sda1 로 마운트 해줘야 되더라. (리눅스 기준)

제목 그대로.. 나같은 경우는 계속해서 ssh 연결에 connection refused가 뜨더라. 일단 SSH가 제대로 떳나 확인 하기 위해 netcat 으로 22번 포트를 확인하자 nc 22 치면 결과가 나온다. AWS EC2의 sshd_config 함부로 건들여서 ssh 접속 안되면.. 고치기 되게 까다롭다. 고치려면 ROOT EBS를 Detach 후 다른쪽 EC2에 붙여서 Mount 한 후, 다시 원복 해야 된다. 이때 내가 고친게 뭔지 기억이 안난다면 더 난리난다... 다행히도 /var/log/syslog 파일에 부트 에러가 남아 있었다. sshd_config의 123번째 라인에 잘못 추가한 에러 내용이 담겨 있었다.. 해당 라인 삭제하니 원상 복구..

Firehose로 들어오는 Record Data를 변환 하여 Destination으로 보내는 것이 가능하다. (보통은 S3로 보냄) 샘플 소스는 아래 주소 https://github.com/jakemraz/aws-kinesisfirehose-convert-lambda 기본으로 주는 템플릿을 가지고 아무리 시도해도 아래와 같은 에러가 나더라 Invalid output structure: Please check your function and make sure the processed records contain valid result status of Dropped, Ok, or ProcessingFailed. { "attemptsMade": 4, "arrivalTimestamp": 157528128791..

개요 Video Streams를 Rekognition으로 분석하여 Kinesis Data Streams 분석 결과를 실시간으로 Data Streams에 전달하는 과정을 살펴보자 https://docs.aws.amazon.com/ko_kr/rekognition/latest/dg/recognize-faces-in-a-video-stream.html 사전 지식 Kinesis Kinesis 제품군에는 Kinesis Data Stream, Kinesis Data Firehose, Kinesis Video Stream, Kinesis Data Analytics 의 4가지가 있다. Kinesis Data Stream 확장 가능하고 내구성이 뛰어난 실시간 데이터 스트리밍 서비스. 수십만개의 소스에서 초당 GB의 데이터..

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..