[가이드] 가이드 | 크로마 서브샘플링 YCbCr 4:2:0의 이해 (YUV 컬러 모델 / 눈의 구조 이해 / HDMI 대역폭)
27
19135
Updated at 2021-05-20 17:11:20
글 : DP 컨텐츠팀 (park@dvdprime.com)
홈시어터 기기 리뷰 읽다가 보면 남들은 다 알고 있는 것 같은데 나만 모르는 것 같은 용어들이 가끔 등장한다. 이런 기술적 용어에 대해 리뷰어가 친절하게 설명해 주면 좋은데 그렇지 않은 경우가 대부분이다. 이는 리뷰하는 사람들이 특별히 네가지가 없어서가 아니라 해당 용어를 제대로 설명하려 노력하다가 보면 배보다 배꼽이 커지기 때문이다.이런 맥락에서 지금까지 디피 리뷰에서 박스 기사로 다뤄온 용어들을 체계적으로 정리하는 작업을 (아주 천천히) 진행 중이다.https://dvdprime.com/g2/bbs/board.php?bo_table=dpinfo&wr_id=46037https://dvdprime.com/g2/bbs/board.php?bo_table=dpinfo&wr_id=47131오늘은 대략 3번째 시간으로 '크로마 서브샘플링(Chroma Subsampling)'에 대해서 알아보고자 한다. 유튜브로 인해 동영상에 대한 관심이 그 어느 때보다 높아진 시점이다. 디지털 카메라나 동영상 편집기, 콘솔 게임기에서조차 YCbCr 4:2:0, YCbCr 4:2:2와 같은 용어는 흔하게 접하게 된다. 아무쪼록 관심 있는 분들께 이 글이 도움이 되길 바란다.이 글에서는 YCbCr 4:2:0과 더불어 이와 연관되어 있는 YUV 컬러 모델 / 눈의 구조 이해 / HDMI 대역폭에 대해서도 간략하게 언급할 예정이다.
크로마 서브샘플링 YCbCr 4:2:0
이번 홈시어터 용어 가이드의 최종 목적은 한 마디로 위 용어에 사용된 숫자 배열의 의미를 이해하여, YCbCr 4:2:0가 화질 저하가 동반되는 기술이 아니라, 오히려 매우 유용한 데이터 축약 기술이라는 사실을 설명하는 게 최종 목적이다. 정식 표기법은 '크로마 서브샘플링 YCbCr 4:2:0'와 같은 형식이지만 쓰고 말하기에 너무 길다보니,
- 크로마 YCbCr 4:2:0
- YCbCr 4:2:0
- YCbCr 420
- YCC 420
- YUV 420
- 4:2:0 크로마 압축 (엄밀히 말해 특정 알고리듬을 통한 인코딩 개념은 아니지만 우리나라에서는 이렇게 표현하는 것이 오히려 소비자들이 직관적으로 이해하는데 도움이 된다.)
- 4:2:0
등 위와 같이 다양하게 표기되고 있다.
결론부터 얘기하면 크로마 서브샘플링 YCbCr 4:2:0이란 Y(루마: 밝기)UV(크로마 : 색차)로 구성된 YUV 컬러 모델에서 Y는 그대로 두고 크로마(UV, CbCr) 정보를 서브샘플링하여 전체 영상 데이터를 줄여주는 기술이다. (Y도 엄밀히 말해 감마 보정이 되지만 이 부분은 건너뛰도록 한다.)
※ 서브샘플링(Sub + Sampling)이란 전체 데이터를 샘플링하지 않고 전체 데이터 중 몇 개를 추려서 샘플링한다는 의미다.
이를 이해하기 위해 현재 디지털 디스플레이에서 사용되고 있는 두 가지 컬러 모델인 RGB와 YUV에 대해 설명하고, 중간에 인간 눈의 망막 구조에 대해서도 잠시 설명할 예정이다.
RGB와 YUV 컬러 모델
YUV에 앞서 RGB 컬러 모델에 대해 먼저 알아 보고자 하자.
RGB 컬러 모델
현재 모든 디지털 디스플레이에서는 그 어떤 중간 과정을 거치던 간에 최종적으로 RGB 컬러 모델을 통해 영상이 구현된다. 영상을 YCbCr 4:2:0 압축을 해도 최종적으로는 RGB로 다시 변환되어 출력된다.
컴퓨터 모니터, 디지털 TV는 물론 블루레이 플레이어, PC, 맥북, 디지털 캠코더, PC 운영체제인 윈도우 10 등 대부분의 디지털 영상 관련 기기나 소프트웨어는 8비트 RGB 시스템을 기본으로 하고 있다. 현재 이 글에 포함된 이미지들도 8비트 RGB 컬러 모델을 기반으로 여러분들은 보고 있다.
만약 여러분들이 최근에 10비트 혹은 12비트 프로세싱이 가능한 디스플레이 기기를 구입했더라도 최종 컬러는 10비트나 12비트가 아닌 8비트일 확률이 대단히 높다. 10비트 컬러가 내 눈 앞에서 구현되려면 10비트로 제작된 영상 소스를 10비트로 처리 가능한 디스플레이 기기에서 봐야만 의미가 있다. HDR 10이 적용된 컨텐츠가 아니라면 JPG, DVD, 블루레이 등 대부분의 이미지는 8비트로 제작된다.
8비트 RGB란 Red, Green, Blue라는 빛의 3요소 컬러 별로 8비트, 2의 8승 즉 256 단계의 명암을 표현할 수 있는 시스템이다. 8비트 RGB, 즉 24비트 컬러 시스템은 RGB 모두 256 단계 혹은 종류의 컬러를 보여줄 수 있으므로, 이 세 가지를 조합하면 256 X 256 X 256 해서 총 천육백만 (16,777,216) 컬러를 표현할 수 있다. RGB (0,0,0)이면 블랙이고, RGB (255,255,255)이면 화이트를 표시한다. 사실 1천 6백만이라는 컬러도 솔직히 말해 인간의 눈으로 영상을 즐기기에 크게 부족하지는 않은 숫자다.
※ 참고로 윈도우 10에서 내부 컬러를 32비트라 표현하는데, 이는 RGB 각 채널 당 8비트에 알파채널 8비트를 합친 숫자다. 즉 24비트8비트 = 32비트. 알파채널은 컬러 데이터에서 분리된 보조 데이터로서, 모니터에 드러나지 않는 정보를 수록할 수 있다. 예컨대 이미지 에디터에서는 알파채널을 이용하여 이미지의 투명도를 조절하는데 사용된다.
한편 맥OS는 2015년 '엘 캐피탄'부터 RGB 10비트를 지원하고 있지만, 전체 컬러 시스템이 10비트는 아니고 사진, 미리보기 등 특정 앱에서만 10비트로 작동한다. 아직 맥OS에서는 넷플릭스의 HDR 10 컨텐츠를 HDR로 재생하지 못하고 있다. (HDR 10에서 10은 10비트를 의미함)
YUV (YCbCr) 컬러 모델
위 RGB 모델은 RGB 별로 밝고 어두운 속성이 포함되어 있다. RGB 모두 0,0,0이면 블랙이고 255,255,255이면 화이트고, 255,0,0이면 순수 레드 이런 식이다.
YUV는 밝기 성분과 색차(컬러) 성분이 분리되어 있는 컬러 모델이다. YUV = Y(루마, 휘도) UV (크로마, 색차)
YUV대신 Y'UV로 표기하는 경우도 많은데, 여기서 Y'는 휘도에 감마 보정값을 적용했다는 의미다. 이 글에서는 편의상 Y'UV대신에 YUV를 사용한다. (감마 보정이나 EOTF에 대해서는 다음에 기회가 되면 설명 드리고자 한다.) YCbCr은 YUV의 디지털 인코딩 시스템이다.
RGB라는 직관적인 컬러 모델이 있는데도 불구하고 YUV가 여전히 영상 산업에서 중요한 위치를 차지하고 있는 이유는 두 가지 측면에서 살펴봐야 한다.
우선 YUV는 흑백 TV에서 컬러 TV로 넘어가는 과정에서 어쩔 수 없이 탄생하였으나, 현재는 컨텐츠 하위호환성과 더불어 데이터 저장의 효율성 때문에 RGB 모델에 밀리지 않고 꾸준히 활용되고 있다. 여기서 말하는 데이터 저장의 효율성이 바로 UV 압축, 즉 크로마 서브샘플링 YCbCr 4:2:0이다.
흑백 TV 시절에는 명암을 표시하는 휘도인 Y 성분만 존재했다. 흑백이 컬러 TV 방송 시스템으로 전환되면서 어느 천재 엔지니어가 색차 성분인 UV값을 Y에 더해 비교적 간단하게 컬러 영상을 만들어 내는데 성공했다. 시간이 흘러 디지털 시대가 도래하면서 아날로그 YUV는 YCbCr이라는 디지털 인코딩 시스템으로 발전하게 되었다. (이와 구분하여 아날로그 인코딩 시스템은 YPbPr로 표기) Cb에서 b는 블루, Cr에서 r은 레드를 의미한다.
그럼 여기서 한 가지 의문이 발생한다. B와 R 성분은 있는데 G 성분은 어디로 갔나?
위에서 UV/CbCr에 대해 '컬러'라는 용어대신 '색차'라는 용어를 꾸준히 사용했다. 색차는 컬러가 아니라 휘도 Y와 함께 사용되어 컬러를 표현하기 위해 고안된 일종의 컬러 좌표계로 이해하면 된다. (실제 Cb는 블루가 아니라 blue-yellow 축상으로부터의 컬러 편차다. 마찬가지로 Cr은 red-cyan 축상이 기준이다.) YCbCr은 수학적으로 RGB 값으로 변환된다.
크로마 서브샘플링의 원리
Y 즉 밝기 성분에는 인간의 눈이 민감하게 반응하기 때문에 밝기의 변화를 건드려 데이터를 축소하기는 힘들다. 대신 크로마 CbCr을 서브샘플링하면 인간의 눈을 이를 거의 인지하지 못하기 때문에 데이터를 크게 축소할 수 있다.
뭔가 복잡해 보이는 YCbCr 4:4:4에서 각 숫자의 의미를 알아보자.
4:4:4에서
- 맨 앞의 4는 고정값이다. 가로 4개의 픽셀이라는 의미.
- 두번째 4는 첫번째 행의 숫자다. 만약 2가 되면 위 블럭에서는 파란색 픽셀과 진보라 픽셀은 무시하고 노란색 픽셀과 연보라색 픽셀을 이용해 서브샘플링한다.
- 세번째 4는 두번째 행의 숫자다. 만약 2가 되면 위 블럭에서는 붉은색 픽셀과 분홍색 픽셀을 이용한다. 만약 0이라면 픽셀을 선택하지 않는다는 즉, 샘플링하지 않는다는 의미다.
그러면 구체적인 예를 통해 알아보자.
위 샘플에서 YCbCr 4:2:2로 서브샘플링한다면 기언급한대로 노란색 픽셀과 연보라색 픽셀, 붉은색 픽셀과 분홍색 픽셀을 이용하여 서브샘플링하게 되면 결과는 아래와 같다.
여기서 세 가지 사항를 고려해야 한다. 첫째 위 샘플은 크로마 즉 색차의 샘플링이다. 아직 루마(휘도) 성분이 결합되지 않았다. 아래와 같이 루마 성분이 결합되면 원본과 비교해 완전히 달라지는 것같이 보이지는 않는다.
마지막으로 인간의 눈은 명암의 변화에는 민감해도 미세한 컬러의 변화에는 둔감하다. 이 특성에 기반하여 크로마 서브샘플링 즉 크로마 데이터 성분을 압축할 수 있는 것이다. 혹시 나의 눈은 너무나 특별하기 때문에 크로마 서브샘플링을 구분할 수 있을 것이다고 주장하는 분들을 위해 인간 눈의 구조에 대해 잠시 살펴보기로 한다. (잡다한 상식이니 그냥 넘어가도 이 글을 읽는데 문제 없다.)
[참고] 인간 망막의 세포 구성 - 간상세포와 원추세포
내친김에 인간 눈의 망막에 대해서도 한번 알아보자. 인간의 안구는 진화의 최종 결과물이 아니다. 특정 종교관의 영향으로 인체는 완벽하다는 인식을 가지고 있는 사람들도 있지만, 눈 역시 진화 과정의 일부이며 완벽한 상태가 아니고 장단점이 공존한다.눈을 통한 컬러의 식별이 절대적인 능력이 아니다라는 대표적인 예로 색순응이라는 현상을 들 수 있다.
우선 위 그림의 오른편 아기 얼굴을 바라보자. 아기 얼굴의 좌우 색이 다르다는 것을 알 수 있다. 그 다음으로 왼편의 그림에 눈을 가까이 대고 가운데 십자선을 기준으로 15초 이상 바라본 후에 다시 오른편 사진을 보자.얼굴색의 차이가 거의 없어졌다는 것을 알 수 있다. 이를 색순응(Chromatic Adaptation)이라고 하는데 특정 조명색이나 물체의 색을 오랫동안 계속 쳐다보고 있으면, 눈이 그 색에 순응되어 색의 지각력이 약해지는 현상을 의미한다. 그런데 색순응은 인간의 눈이 가진 단점이 아닌 장점이다. 물체 고유 색에 대한 감을 유지할 수 있도록 도와준다.동시에 내가 인식하는 이미지는 눈이라는 하드웨어에 뇌라는 소프트웨어가 동시에 작용하는 결과물이라는 사실을 어렴풋이 짐작할 수 있다. (눈 자체는 이렇게 환경에 쉽게 순응하므로 두 눈에만 의존하여 디스플레이 기기를 캘리브레이션하려는 시도는 무의미하다.)다시 본론으로 넘어가기로 한다.
빛은 각막-동공-수정체-유리체를 통과하여 망막에 상을 맺는다. 의학 교실은 아니므로 위에 있는 전문 용어는 싹 다 무시하고, 망막과 황반에만 집중해 보기로 하자.
인간의 망막에서는 빛을 감지하는 시세포들이 존재하는데 크게 2종류로 나뉜다. 바로 원추세포와 간상세포다. 세포가 생긴 모양 때문에 원뿔세포, 막대세포라고도 부른다.
간상세포는 밝기의 정도를 감지하며 원추세포는 컬러(빛의 해당 파장)를 감지한다. 간상세포는 망막 전체에 대략 9천만개가 존재하며 원추세포는 대략 600만개 정도가 존재한다. 간상세포가 원추세포에 비해 대략 15배 정도 많으며, 간상세포는 단 하나의 광자에 반응할 정도로 빛에 민감하다. 세포수 차이만 봐도 왜 인간의 눈이 컬러보다는 빛의 명암에 민감한지 쉽게 설명된다.
원추세포도 망막 전반에 분포되어 있으나 대부분 황반에 집중되어 있다. (황반은 해부학적으로 황색의 둥그런 모양이다.) 원추세포는 600만개 정도다.
각 원추세포는 빛의 성분 내 RGB 파장 중 하나를 집중적으로 감지하며 각각 적원추, 녹원추, 청원추라고 부른다.
[알쓸신잡]
- 적원추, 녹원추, 청원추의 비율은 1:1:1이 아니다. 40:20:1이다.
- 적원추, 녹원추, 청원추 세포 중 한 종류가 유전적인 이유로 손상되면 색맹 또는 색약이 된다.
- 야행성 동물은 간상세포만 있고 원추세포가 없는 경우가 대부분이다.
마지막으로 딱 한 마디만 더 첨언하고자 한다. 인간이 보는 이미지는 사실 눈을 통해 들어온 빛을 (엄밀히 말해 시세포에 의해 자극된 빛의 파장들을) 뇌가 별도로 가공하여 최종 완성된다. 눈이 하드웨어라면 뇌는 소프트웨어다. 이 둘이 합쳐져 최종적으로 내 자아는 어떤 이미지를 인식하게 되는 것이다. 뇌는 이미지를 빠르게 처리하기 위해 일종의 편견을 가진다. 이 때문에 이미지 인식에 있어서 가끔 왜곡이 발생하기도 하는데, 이 역시 엄밀히 말해 버그라기 보다는 인간 생존을 위해 발전된 진화의 산물이다.결론적으로 말해 인간의 두 눈은 컬러보다 명암 구분이 쉽도록 진화되었고, 나의 시력이 아무리 뛰어나다 하더라도 고해상도 이미지에서 픽셀 단위의 모든 컬러를 구분하는 데는 한계가 있다. 눈은 모든 빛을 받아들일 수 있을지 몰라도 뇌가 엄청난 양의 시각 정보를 픽셀 단위로 프로세싱하지 못한다.
YCbCr 4:4:4 / YCbCr 4:2:2 / YCbCr 4:2:0의 현실적 의미
위 크로마 서브샘플링의 원리를 이해했다면,
YCbCr 4:4:4는 비압축 데이터라는 사실과 YCbCr 4:2:2가 YCbCr 4:2:0에 비해 수록된 정보가 많다는 사실을 알 수 있다. 기술적으로 YCbCr 4:1:1, 4:2:1, 4:1:0 과 같은 형식의 샘플링도 가능하지만 이를 지원하는 기기는 거의 없다. 현재는 대표적으로 4:4:4, 4:2:2, 4:2:0 방식이 널리 사용된다.
YCbCr 4:4:4
- RGB 4:4:4로 표기하기도 한다. 위아래 총 8개 픽셀 모두를 사용한다는 의미이므로 데이터를 압축(서브샘플링)하지 않는다는 의미와 동일하다. TV에서 4:4:4를 지원하다는 의미는 8비트 RGB 컬러를 데이터 손실 없이 재생한다는 뜻이다. 크로마 서브샘플링된 결과물은 동영상이나 사진에서는 인간의 눈으로 구분이 힘들지만, 폰트와 같이 정형화된 이미지에서는 바로 구분이 가능하다.
- 따라서 TV를 PC에 연결하는 게 주목적이라면 TV가 반드시 YCbCr 4:4:4를 지원하는지 확인해 봐야 한다.
YCbCr 4:2:2
- (동영상) 주로 동영상 편집을 위한 중단 과정에서 사용된다. 최종 결과물은 4:2:0이 될 것이지만, 편집 과정에서 발생하는 데이터 손실이 있으므로 최상의 결과물을 위해서는 4:2:2 정도에서 작업하는 것이 좋다. 물론 4:4:4가 최상이지만 데이터량이 엄청나기 때문에 하드웨어와 소프트웨어의 효율성까지 고려한다면 4:2:2가 적당하다.
- (게임) XBOX ONE의 비디오 옵션에 보면, YCC 422 즉 YCbCr 4:2:2 체크박스 옵션이 있다. 정확히는 모르겠지만 이 옵션은 아마도 텍스트를 위주로 진행되는 게임에서 폰트를 좀 더 명확하게 보이도록 하기 위해 도입된 것 같은데, 현실적으로는 크게 쓸모가 없다. 특히 HDR 지원 게임에서 YCC 422 옵션을 체크할 경우, Color Depth가 10비트가 아니라 8비트로 고정되기 때문에 색감에서 손해를 본다. 콘솔에서 텍스트 위주로 진행되는 게임은 거의 없으므로 YCC 422 옵션은 체크하지 말기를 권장한다. (드물지만 디스플레이에 따라서는 4:2:2 옵션을 켜야 동영상 재생시 밴딩 노이즈가 사라지는 경우가 있다.)
YCbCr 4:2:0
위에서 설명한대로 원본 손실은 발생하지만 폰트를 제외하면 동영상이나 이미지에서 품질의 저하를 인지하기 힘들기 때문에 4:2:0은 매우 유용한 데이터 샘플링 기술, 쉽게 말해 압축 방법이다.
HDMI와 초당 데이터 전송량
현실에서 YCbCr 4:2:0의 의미는 영상 입출력 표준인 HDMI 버전과 큰 상관 관계가 있다. 보통 4:2:0은 4:4:4에 비해 전송 데이터를 약 50% 정도 절약할 수 있다.
HDMI 버전에 따라 대역폭에 제한이 있으므로 데이터 전송율을 50% 줄인다는 것은 의미가 크다.
HDMI는 각 버전 별로 초당 최대 데이터 전송 대역폭이 위와 같이 정해져 있다. 영상의 해상도, 컬러의 비트(Color Depth), 화면 갱신율, 그리고 크로마 서브샘플링 방식에 따라 초당 전송량(Gbps)이 달라진다. 이 Gbps의 크기는 HDMI 버전에 따른 최대 대역폭을 초과할 수 없기 때문에 크로마 서브샘플링 방식을 이해하면 도움이 된다.
다음은 4K 해상도에서 화면 갱신율 (30Hz / 60Hz / 120Hz) / 컬러 뎁스 (8bit, 10bit, 12bit) / YCbCr (4:4:4, YCbCr 4:2:0)을 조건으로 하여 계산한 초당 데이터 전송율(Gbps) 수치다.
단순 수학적 계산이기는 하지만 대략적인 Gbps를 가늠할 수 있다. 복잡해 보이기는 하지만 4:4:4의 데이터 대역폭을 100%라 하면 4:2:2는 약 66.7%, 4:2:0은 약 50%다. (4:2:2까지 넣으면 너무 복잡해 보이기 때문에 아래 표에서는 생략했다.)
예를 들어 4K / 120Hz / 12비트 / 4:4:4 무압축 전송율을 보면 약 49Gbps이므로 이는 HDMI 2.1 스펙을 초과한다. 4:2:0로 압축(서브샘플링)해야 허용 범위 내로 들어온다.
마치며
지금까지 크로마 서브샘플링에 대해 전반적으로 알아보았다.
그런데 문득 이런 생각을 하는 사람이 있을지 모르겠다. 눈으로 구분이 어렵다고는 하지만 어쨌든 데이터의 손실이 있는데 왜 크로마 서브샘플링을 통해 데이터를 줄여야할까? 만약 관련 기술이 계속 발전하여 저장 용량이 충분하고 전송 대역폭이 훨씬 더 커지면 굳이 크로마 서브샘플링을 하지 않아도 되지 않을까?
그렇게 될 날이 올 수도 있겠지만, 온다고 해도 그 시점은 매우 더디게 올 것이다. 현실적으로 추가적인 비용도 문제지만, 이 보다는 표준과 호환성 문제가 더 크다.
영상과 관련한 기술 발전의 역사는 한 마디로 하위호환성의 역사다. 새로운 기술 적용에 있서 가장 중요한 것은 혁신성이 아니라 언제나 하위호환성이었다. 이미 존재하는 영상, 방송, 영화 생태계를 한번에 바꾸기는 불가능하다. 아무리 엄청난 기술이라도 하위호환성이 없다면, 소비자들은 가지고 있는 모든 영상 기기를 버려야 하며 지금까지 제작된 영상을 (컨버팅하지 않으면) 당장 볼 수도 없게 된다.
이런 이유로 YCbCr 4:2:0은 HDR 시대를 지나서도 상당 기간 존재할 것으로 예상된다.
22
Comments
| 글쓰기 |
라고 되어 있는데, YUV444랑 RGB는 상호 무손실 변환이 가능한 거지 서로 구별되어야 하지 않을까요? YUV-RGB 변환에서 생기는 부동소수점 오차도 있는 걸 생각하면...