유니코드와 멀티바이트, UTF-8 이런 놈들은 무엇인가?

우와.. 이번에 멀티바이트랑 유니코드랑 수 없이 교환시키는 작업을 하면서 인코딩에 대한 이해가 많이 는 것 같다..

유니코드는 2바이트로 이 세상의 모든 언어를 표시 할 수 있는 그런 놈이다. 이건 알고 아래 글을 읽도록 하자 후후.

일단 UTF-8이 널리 쓰이는 이유에 대해 설명을 간략이 들여보자.
UTF-8은 멀티바이트이다.
65536개의 문자를 사용하는 캐릭터셋은 유니코드의 캐릭터셋을 사용하지만 유니코드는 무조건 1글자에 2byte씩이다. 그걸 1~4byte의 가변길이로 인코딩하는 방식이 UTF-8이다.(그래서 CP_UTF8을 멀티바이트 변환 상수에서 찾을 수 있음.) (캐릭터셋이라 하면 유니코드가 나타낼 수 있는 모든 문자를 말함)
UTF-16이랑 32같은 놈들도 있지만 자주 쓰이는건 UTF-8이다.
UTF-16은 유니코드랑 거의 똑같다고 보면 된다. 걍 UTF-16 == 유니코드. 로 여기면 됨
근데 왜 이 편한 UTF-16을 안쓰고 UTF-8을 쓰느냐?
그 이유는 UTF-8의 캐릭터 셋 중 1바이트를 사용하는 녀석들은 ASCII와 캐릭터 셋이 정확하게 1:1로 매칭되기 때문이다.
따라서 UTF-8을 사용하면 기존에 ASCII로 돼있는 놈들을 바꿔줄 필요가 전혀 없다! UTF-8은 아스키의 슈퍼셋이 되도록 설계하였음!
따라서 기존의 레거시 코드(기존에 사용하던 코드들)의 호환성이 매우 좋다!
또한 유니코드(UTF-16) 같은 경우 문자 중간 중간에 0x00이 마구마구 들어간다. 기존에 0x00은 null terminate string에서 문자열의 끝을 나타내기 위해 쓰였는데,
UTF-16을 표준으로 한다면 매우 난감해 질 것이다. 끝 도 없이 문자열이 종결 되는 것이다!!!
하지만 UTF-8에는 0x00이 중간에 등장할 리가 없다. ASCII코드 0이 아닌 글자가 2byte~4byte로 표현되면서 0x00을 포함할 일이 없다!
UTF-32는 쓸일이 없으니 패스.