본문 바로가기 메뉴 바로가기

JHB의 삽질 이야기

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

JHB의 삽질 이야기

검색하기 폼
  • 분류 전체보기 (372)
    • JHB (23)
      • IT 이야기 (4)
      • 잡다한 이야기 (19)
    • Cloud (44)
      • AWS (40)
    • Language (46)
      • C C++ (26)
      • C# (2)
      • Java (1)
      • Python (16)
    • Development (221)
      • Windows (62)
      • Mobile (72)
      • Linux (6)
      • Driver (12)
      • Firmware & HW (3)
      • Algorithm (14)
      • CM&CI&CD (14)
      • Web개발 (8)
      • Container (1)
      • Database (1)
      • Etc (26)
      • Tip (2)
    • MUSIC (17)
      • Listen (12)
      • Compose (5)
    • ETC (20)
      • Public (20)
    • TOOL/FRAMEWORK
      • MFC
      • WPF
      • GIT
    • LANGUAGE
      • C/C++
      • C#
      • Java
      • Python
  • 방명록

BigData (2)
빅데이터와 머신러닝 그리고 클라우드

한 5년전까지만 해도 빅데이터와 머신러닝(AI)는 크게 비지니스에 영향을 끼치지 못했다. 빅데이터 플랫폼을 구성하기 위한 기술적 난이도(직접 온프렘에 하둡 클러스터 구성)가 너무 어려웠고 인프라 비용도 어마어마했다. 결국 비지니스적으로 ROI가 나오지 않았었다. 머신러닝 역시 마찬가지였다. 정확도가 90%가 넘는다 하더라도 99%가 되지 않으면 산업에서 사용 할 수 없지 않을까? 하고 생각했었으며 머신러닝에 드는 수 많은 인프라를 어떻게 구성해야하는지 (그래픽카드가 너무나 비싸고, 병렬 학습은 어렵다) 여간 쉬운게 아니었다. 의도한건지 의도하지 않은건지, 4차 산업 혁명에서 부르는 기술들의 인프라에 대한 문제는 클라우드가 뜨면서 해결되게 되었고 빅데이터와 머신 러닝 모두 이제 학계가 아니라 업계에서 날라..

JHB/IT 이야기 2021. 7. 5. 09:22
[AWS] AWS Athena에 날린 쿼리 그대로 AWS Glue에서 Job 만들기

Glue Crawler를 통한 Catalog 생성 Glue Crawler를 통해 Glue Catalog Table을 생성하면 Athena를 통해 쿼리를 날릴 수 있다. 예를 들어 Pinpoint Stream을 ON 한 후 S3에 쌓은 데이터에 대하여 크롤러를 돌리면 아래와 같은 스키마가 찾아진다. 13번 부터 16번에 있는 partition_0 ~ partition_3 의 경우 year, month, day, hour에 해당하는 partition이다. Athena에서 위의 Schema를 이용하여 쿼리를 사용하려 하면 제대로 되지 않는다. Athena에서 Glue Catalog를 사용하기 Athena에서 위의 Catalog를 사용하여 쿼리를 날리고자 하는 경우, Edit Schema를 눌러서 Partiti..

Cloud/AWS 2020. 1. 7. 17:53
이전 1 다음
이전 다음
공지사항
최근에 올라온 글
  • Serverless로 E-Commerce 만들기 ⋯
  • 갑자기 RDS CPU 점유율이 100%를 쳤다.
  • DDB Singletable 디자인
  • AWS CLI v2 에서 명령어 출력이 새 창으로⋯
최근에 달린 댓글
  • 안녕하세요~ GridCtrl 을 사용중이시라면 Ctrl⋯
  • 혹시 스태틱으로 GridCtrl 사용해서 목록이있는 그⋯
  • 헉 안돼서 계속 윈도우로만 했는데 감사합니다 복받으세용
  • 글 잘 읽고 갑니다~
Total
854,497
Today
3
Yesterday
159
링크
  • Kaspyx - Hacking
  • JHB LinkedIn
  • Dive into Deep Learning
TAG
  • C
  • 음악
  • jni강좌
  • 리눅스
  • android
  • Visual C++
  • Troubleshooting
  • db
  • API
  • AWS
  • 안드로이드
  • linux
  • gcc
  • NDK
  • 드라이버
  • winapi
  • algorithm
  • jni
  • Cloud
  • driver
  • Python
  • it
  • C++
  • source
  • MFC
  • kering
  • database
  • Quiz
  • 프로그래밍
  • java
more
«   2023/03   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31
글 보관함
  • 2022/03 (1)
  • 2021/11 (1)
  • 2021/10 (1)
  • 2021/09 (1)
  • 2021/08 (1)

Blog is powered by Tistory / Designed by Tistory

티스토리툴바