JHB의 삽질 이야기

도대체 뭐가 문제인지 갈팡질팡 하다가 AWS RDS 성능개선 도우미를 확인해보니 상위SQL(AAS별 상황)에 나오는 쿼리가 있는데 INSERT 쿼리와 SET NAMES 쿼리가 있었다. 이걸 어떻게 개선을 해야하나 싶었는데 이게 답이 아니었다. (나는 여기에 slowquery가 나올 거라고 착각했다.) slowquery 기능 켜고나서 로그를 보니 특정 쿼리가 30초씩 점유하고 있는 것이 아닌가.. 당장 select에 사용하는 field에 인덱스를 걸었다. 그랬더니 한방에 해결.. 느려지면 무조건 slowquery 먼저 보자.

https://www.slideshare.net/awskorea/learn-how-to-model-and-operate-a-serverlessbased-database 서버리스 기반 데이터베이스 모델링 및 운영 노하우 알아보기 - 변규현 SW 엔지니어, 당근마켓 / 서버리스 기반 서비스를 위한 다양한 데이터베이스 선택 옵션이 있습니다. 본 세션에서는 RDB 및 NoSQL 측면에서 서버리스 DB 활용 전략을 살펴봅니다. RDB에서 서버리스를 위한 데이터 모델링 및 www.slideshare.net 이 ppt 맘에 든다.

shell script를 짜면서 aws cli 명령을 사용 할 때가 있는데 aws cli v2의 경우 명령 실행 결과에 대한 출력이 새 창 (Page)로 나오는 덕에 가끔씩 프롬프트 출력 결과들이 꼬일 때가 있다. 이를 해결 하는 방법은, 명령어 입력시 뒤에 --no-cli-pager 를 붙이는 것이다. 예를 들어 aws iam list-users 명령의 경우 aws iam list-users --no-cli-pager 로 할 경우 새 창이 뜨지 않고 명령어 결과가 동일한 터미널에 출력된다.

현재 M1 실리콘 (ARM) 사용 중이고, 여기에 ubuntu docker를 돌려서 remote container로 node를 개발 중에 있다. 근데 얼마전 까지 잘 되던게, 특히 npm install -g 하면 계속 해서 permission denied 에러가 난다. EACCESS: permission denied npm ERR! spawn ENOENT npm ERR! code ELIFECYCLE sh: 1: node: Permission denied 등등 package-lock.json과 node_modules 디렉토리를 지우고 아무리 다시 시도해도 계속해서 이런류의 에러가 발생한다. 아니 나는 docker로 돌리고 있고 user는 당연히 sudo (root) 인데 왜 자꾸 permission den..

한 5년전까지만 해도 빅데이터와 머신러닝(AI)는 크게 비지니스에 영향을 끼치지 못했다. 빅데이터 플랫폼을 구성하기 위한 기술적 난이도(직접 온프렘에 하둡 클러스터 구성)가 너무 어려웠고 인프라 비용도 어마어마했다. 결국 비지니스적으로 ROI가 나오지 않았었다. 머신러닝 역시 마찬가지였다. 정확도가 90%가 넘는다 하더라도 99%가 되지 않으면 산업에서 사용 할 수 없지 않을까? 하고 생각했었으며 머신러닝에 드는 수 많은 인프라를 어떻게 구성해야하는지 (그래픽카드가 너무나 비싸고, 병렬 학습은 어렵다) 여간 쉬운게 아니었다. 의도한건지 의도하지 않은건지, 4차 산업 혁명에서 부르는 기술들의 인프라에 대한 문제는 클라우드가 뜨면서 해결되게 되었고 빅데이터와 머신 러닝 모두 이제 학계가 아니라 업계에서 날라..

나는 G3900을 사용 중인데, 한국 캐논 사이트에서 제공하는 드라이버는 설치가 계속 실패 하더라. 캐나다 캐논 사이트에서 G3000 Series 용 드라이버를 받아서 깔았더니 성공했다. https://canoncanada.custhelp.com/app/answers/answer_view/a_id/1011682/~/g3000-series-cups-printer-driver-ver.16.40.1.0-%28mac%29 G3000 series CUPS Printer Driver Ver.16.40.1.0 (Mac) History [Ver.16.40.1.0] - macOS Big Sur (11.0) has been added as a supported OS. - Modified the failure occurre..

ecs-patterns의 ApplicationLoadBalancedFargateService를 사용하여 Service를 만들었는때, Auto Scale을 설정 하려면 어떻게 해야 할까? https://docs.aws.amazon.com/cdk/api/latest/docs/@aws-cdk_aws-ecs-patterns.ApplicationLoadBalancedFargateService.html 여기서는 쉽게 보이지가 않는다. 정답은.. const fargateService = new ecs_patterns.ApplicationLoadBalancedFargateService(this, 'FargateService', { //... } fargateService.service.autoScaleTaskCount..

MSA 다룰 때 카오스엔지니어링은 중요하다. 하나의 서비스 장애가 전체 시스템 장애로 퍼지는 일이 흔하기 때문이다. MSA로 아키텍처를 구성하면, 어느 한 서비스가 장애 시간이 점점 쌓여서 Timeout이 계속 나는 상황이 되면.. 이거에 연관된 모든 서비스가 점점 느려지다가 전체 서비스가 한순간에 확 다운된다. 2차 함수 처럼 그래프가 한번에 확 올라간다. 느려지기 시작하는 지점을 엘보우 포인트라고 부르며, 이걸 빠르게 캐치하는게 중요하다. 그래서 프로덕션 전에 일부로 서비스 장애를 일으키고 이를 해결하기 위한 플레이북을 만들어 나가는 과정이 중요하다. 이때 서비스를 모두 띄워놓고 하나씩 죽여보는 날을 잡는데, 이걸 Demo Day 라고 부른다. 예를 들어 서비스에서 DB 요청 했는데 Timeout이 ..