[오디오]  최근 인용되고 있는 블라인드 테스트 영상에 대해서

제가 며칠 전에 언급했던 유튜버분께서 케이블 블라인드 테스트 영상을 올리셨더군요.

그리고 이곳 게시판에서도 그 테스트 동영상을 인용해 케이블 차이를 모두 정확히 구분한 사례가 나왔다고 소개하는 회원분도 계시던데.....

죄송하지만 결론은 이 글을 끝까지 읽어보신 뒤에 내려도 늦지 않을 것 같습니다. 

 

*아래의 동영상이 해당 블라인드 테스트 과정을 담은 풀 버전입니다.

 

https://www.youtube.com/watch?v=7xmWcu6B1cc&t=576s

 

준비한 분들이나 참석하신 분들께는 참 죄송한 이야깁니다만, 이 테스트는 '변수를 통제하지 못한(or않은) 실패한 블라인드 테스트'의 전형적인 예입니다.

 

일단 이 테스트는 제대로 통제된 더블 블라인드 테스트(DBT)가 아니었습니다.

오히려 진행방식을 봤을 때 DBT의 조건들을 모두 무시하다시피한 것이라 결과에 어떤 의미를 둘 수가 없는 테스트였죠.

 

**물론 오프라인에서 케이블을 비교 청취하는 모임을 여는 시도 자체는 박수를 보냅니다.

 

DBT의 조건은 여러 가지가 있지만 그 중에서도 중요하다고 할 수 있는 건

1. AB가 아닌 ABX 테스트

2. 진행자조차 비교 대상의 정체를 알 수 없어야 함

3. 충분한 참여자 숫자와 충분한 테스트 횟수

4. 비교 대상 외에 다른 변수가 없도록 엄격하게 통제할 것

5. 결과는 재현이 가능해야 함

 

이렇게 다섯 가지 정도로 요약할 수 있습니다.

 

물론 그 외에도 테스트 도중 참가자들은 서로 상의할 수 없도록 침묵을 유지해야 한다는 건 기본이며 차이를 구분할 수 없음에도 찍어서 맞추는 경우를 막기 위해 '구별할 수 없다'는 답안도 선택할 수 있어야 합니다. 

 

그런데 이 테스트는 위에 열거한 조건들 중 어느 것 하나도 지켜지지 않았죠.

 

그 이유를 하나씩 설명드리자면, 

 

1. ABX 테스트가 아닌 예고된 AB 테스트

 

DBT는 비교 대상인 A와 B에 미스터리 X를 추가해서 테스트합니다.

이 때 X는 A일 수도 있고 B일 수도 있습니다.

 

당연한 이야기지만 빨간색과 초록색을 구별할 수 있는 사람이라면 ABX 테스트에서도 정확히 빨간색과 초록색을 구별할 수 있습니다.

 

그런데 해당 테스트는 AB 테스트인데다가 총 4번의 테스트 중 A와 B를 각각 두 번씩 테스트할 것이라고 예고까지 해줍니다.

 

이 내용은 3번 항목에서 다시 부연 설명하겠습니다.

 

 

2. 진행자가 직접 케이블을 교체하가며 명백한 의도를 드러낸 채 진행

 

DBT의 핵심은 진행자조차도 비교 대상의 정체를 알지 못해야 한다는 겁니다.

비교 대상의 정체를 알고 있는 진행자가 테스트를 진행할 경우 결과에 큰 영향을 미칠 수 있기 때문입니다.

 

하지만 이 테스트는 진행자분이 케이블을 직접 교체해가며 명백한 의도를 드러낸 채 진행되었습니다.

 

테스트를 개최한 유튜버분은 단순 참가자로 테스트에 참여했지만 진행자분은 케이블 간에 음질 차이가 있다는 확신을 가진 분이셨죠.

심지어 진행자분은 케이블을 구분할 때 어떠한 점을 집중해서 들어야 차이를 느낄 수 있는지 참가자분들에게 팁을 주기까지 합니다. (동영상 5분 51초에 한 번, 52분 20초에 또 한 번)

 

진행자가 그렇게 편향된 이야기를 하는 것은 참가자들에게 플라시보 효과나 압박감을 줄 수 있기 때문에 DBT에선 절대로 금기시되는 일입니다.

게다가 진행방식에 이의를 제기하는 참가자가 나오자 진행자분은 자신이 이러한 테스트를 많이 해봤으니 자신의 방식을 따라야 한다고 이야기합니다. (동영상 54분 07초)

 

테스트를 개최한 유튜버분은 며칠 전 제가 제안한 청음회 소식을 듣고 화가 난다면서 유튜브에 동영상을 올렸던 분입니다.

케이블 간에 차이가 없다고 확신하는 사람이 의도를 가지고 진행하는 테스트 청음회에 누가 참석하겠냐고, 자신의 딸아이도 그런 유치한 짓은 안 한다면서 창피한 수준의 청음회라고 유튜브 동영상을 통해 저를 비난하셨더랬죠.

 

**제가 제안한 청음회는 DBT의 조건에 맞춰 저는 테스트 음원 제작에만 참여할 뿐 테스트 장소엔 가지도 않을 것이며 테스트는 음원의 정체를 모르는 양측 대표자 두 분이 공동으로 진행하는 방식이었습니다.

 

그런데 그렇게 저를 힐난하셨던 분이 정작 본인이 개최한 블라인드 테스트에선 어째서

ㄱ. 케이블에 따른 음질 차이가 있다고 확신하는 분을 진행자로 선정해

ㄴ. 참가자분들에게 계속해서 케이블 차이를 느끼는 게 당연하다는 식의 발언(=심리적 압박)을 하고

ㄷ. 진행자가 직접 케이블을 교체해가며(진행자가 케이블의 정체를 알고 있음)

ㄹ. 진행자가 자신의 의도를 명백히 드러내는 방식으로 테스트를 진행하게 하셨는지 의문입니다.

 

  

3. 너무 적은 참여자 숫자와 불충분한 테스트 횟수

 

여론조사에서도 응답자 숫자가 너무 적으면 조사의 신뢰도를 잃게 됩니다.

예를 들어 대선에서 두 명의 후보자 중 누구에게 투표하겠느냐고 10명의 사람들에게 물어본 뒤 그 결과를 당선확률이라고 공표하는 건 곤란하겠죠.

 

그런데 이 테스트에 참가한 분들은 4명에 불과합니다.

물론 개인이 개최한 블라인드 테스트이기 때문에 참여자 숫자가 적은 건 어쩔 수 없는 부분입니다.

그렇다면 테스트 횟수라도 충분히 많이 가져서 유의미한 결과를 도출했어야 하는데 실제론 AB 테스트 4회로 제한되었죠.

 

얼핏 생각하면 4번의 AB 테스트라도 정답을 맞출 확률은 1/16이 되니까(2 x 2 x 2 x 2) 충분하진 못해도 나름대로 유의미한 결과를 도출할 수 있는 조건이라고 생각하실 수도 있습니다.

그런데 실제 이 테스트에서 정답을 맞출 확률은 1/16이 아닙니다.

 

1번 항목과 연결되는 내용인데, 이 테스트는 총 4번 실시해 A와 B를 각각 두 번씩 테스트할 것이라고 예고되었죠.

그런 조건에서 나올 수 있는 경우의 수는 고작 6개뿐입니다.

 

AABB, ABAB, ABBA, BBAA, BABA, BAAB 이렇게 여섯 가지죠.

 

1/6 확률에서 4명 중 한 명이 정답을 맞춘 것에 특별한 의미가 있을까요?

 

더구나 최초에 A와 B를 각각 두 번씩 테스트할 것이라는 내용을 전달받지 못했던 참가자 두 분은 먼저 실시된 디지털 케이블 테스트에서 A를 세 번 고르고 B를 한 번 골랐다가 부랴부랴 답을 고치는 촌극이 벌어지기도 합니다. (동영상 49분 40초)

 

그 혼돈 상황에서 유튜버분께선 진행자분에게 "그럼 추정해서 (답을) 찍어도 되느냐?"고 묻기까지 하죠. (동영상 50분 13초) 

 

앞서 설명드렸듯이 DBT에선 확신을 가지고 선택한 답이 아닐 경우 '구분할 수 없다'는 항목에 체크해야 합니다.

결국 해당 블라인드 테스트를 개최한 유튜버분 스스로 테스트 결과의 신뢰도를 '찍기' 수준으로 떨어뜨린 셈입니다.

  

그리고 테스트는 디지털 케이블 4회, 파워 케이블 4회에 걸쳐 진행됐는데 이 두 가지 테스트는 비교대상이 다른 각각 독립된 테스트이므로 이 두 개의 확률을 묶어서 생각하는 것 역시 큰 의미가 없습니다.

그래도 두 개의 독립된 테스트를 모두 맞춘 정답자가 있다면 그 확률(1/36?)은 유의미한 결과 아니냐고 하실 분들도 계실지 모르겠습니다.

 

그런데 정작 정답을 모두 맞췄다는 참가자분은 디지털 케이블 테스트 3회차를 마친 뒤 중간 쉬는 시간에 이런 이야기를 합니다.

 

"첫 번째 테스트 때는 확신이 있었는데 두 번째는 완전히 헷갈렸다.

세 번째 하고 나니까 확신이 좀 서더라.

네 번째 하면 또 모르겠다."  (동영상 42분 16초)

 

그리고 실제 네 번째 테스트에선 계속 고개를 갸웃거리시며 테스트할 때마다 볼륨이 달라지지 않았느냐며 본인이 들은 소리에 확신을 가지지 못한 모습을 보입니다. (동영상 48분 15초)

 

 

4. 케이블 교체 외의 변수가 너무 많이 작용한 테스트

  

여기까지 읽으신 분들 중엔 제가 케이블 간에 차이가 증명된(?) 테스트를 지엽적인 부분들을 문제삼아 비방한다고 생각하는 분들도 계실지 모르겠습니다.

 

아래 자료들은 제가 유튜브에서 해당 테스트 동영상을 다운받아 사운드를 추출한 겁니다.

테스트 동영상이 2시간이 넘는 분량이기 때문에 정답을 모두 맞췄다는 분이 디지털 케이블(AES/EBU) A와 B를 비교해서 들으실 때의 사운드 차이를 분석해 보겠습니다.

 

**테스트를 녹화한 유튜브 동영상 음질이 안 좋긴 합니다만 음질이 아니라 사운드의 차이를 비교 분석하는 용도로는 별 문제가 되지 않습니다.

 

정답자분이 테스트 음원으로 사용한 곡은 아이유가 리메이크해 부른 '개여울'입니다.

참고로 개여울은 조표 b이 하나 붙은 라단조(D minor Key)의 곡인데 노래는 220Hz의 A3음으로 시작합니다.

 

 

 

먼저 사운드편집 프로그램에서 아이유가 노래를 부르기 시작하는 도입부, '당신은 무슨 일로'라는 가사가 나오는 지점이 각각의 테스트에서 어떤 차이가 있는지 보겠습니다.

 

 

 

사운드 스펙트로그램의 왼쪽 하단 가장 밝은 붉은색이 바로 아이유가 노래를 부르기 시작하는 '당신은'에서 '당'에 해당하는 지점입니다.

거기서 오른쪽으로 쭈욱 선을 그어 주파수를 확인해보면 220Hz인 것을 알 수 있죠.

 

**두 개의 캡쳐 화면은 제가 각각 두 개의 음원을 열어놓은 상태에서 확대비율이 미묘하게 달라서 사운드 스펙트로그램도 조금 달라보일 수 있습니다.

 

이것만 봐서는 명확한 차이가 있는지 구분하기 어려우실 겁니다.

노래 가사에서 '무슨 일로'의 '일'에 해당하는 지점의 2배수 하모닉스를 제가 노란색으로 체크해 보겠습니다.

 

 

 

제가 노란색으로 체크한 부분은 가사 '일'의 기음(Fundamental Tone)에서 파생된 2배수 하모닉스입니다.

가사 '일'의 악표상 음표는 Bb음(466Hz)인데 정확히 그 두 배인 932Hz에서 2배수 하모닉스가 생성된 걸 볼 수 있죠.

 

두 개 음원의 하모닉스에서 차이가 보이십니까?

좀 더 크게 확대해서 보여드리죠.

 

 

뭔가 다르죠?

디지털 케이블 A와 B로 각각 음악을 재생했을 때 933Hz에서 발생한 2배수 하모닉스가 분명한 차이를 보입니다.

.......드디어 디지털 케이블에서도 소리 차이가 발생한다는 걸 확인할 수 있게 된 걸까요?

 

죄송하지만 그렇지 않습니다.

 

일상에서 우리의 오디오룸은 생활 소음은 물론 인간의 청력으로는 들리지 않는 소음(작게는 공사 현장의 진동부터 크게는 먼 곳에서 발생한 지진까지)에 노출되어 있습니다.

따라서 동일한 음원을 동일 장소에서 동일한 시스템으로 재생한 뒤 마이크로 녹음해도 매번 결과물이 미세하게 달라지죠.

 

하지만 제가 사운드 편집 프로그램으로 확인한 하모닉스의 차이는 외부 소음으로 인한 것이 아닐 확률이 높습니다.

 

아래는 정답자분이 디지털 케이블 B와 A를 구별할 때의 상황을 동영상에서 캡쳐한 겁니다.

 

**유튜브에 공개된 영상이지만 테스트 진행자분과 참가자분의 얼굴은 제가 블러처리 했습니다.

 

 

차이가 보이시나요?

 

소리에 차이가 생긴 이유는 바로 이것 때문일 확률이 높습니다.

 

 

디지털 케이블을 바꿔 끼우는 과정에서 진행자분은 살짝 열려있던 커튼을 닫았습니다.

그 와중에 케이블의 정체를 감추기 위한 연보라빛 천의 형태도 미묘하게 달라졌죠.

 

......고작 커튼이 살짝 열리고 닫힌 것으로 소리가 바뀐다는 걸 믿지 못하겠다는 분들도 계실 겁니다.

그런데 실제로 측정 마이크로 확인해 보면 차이가 납니다.

 

**만약 이런 차이를 부정하는 분이 계시다면 시중에서 판매되는 수많은 분산재나 흡음재의 효과마저 부정하시는 겁니다.

 

커튼을 살짝 열고 닫는 것이 엄청난 소리의 차이를 가져온다고 말하긴 어렵지만, AB 블라인드 테스트에서 유의미한 차이를 만들어 낼 수 있습니다.

예를 들어 933Hz 주파수 대역에서 일어난 2배수 하모닉스의 감쇠 같은 차이를 말이죠.

일부러 구분해서 들으라면 구분해 듣지 못하는 분들이 대부분이겠지만, 측정 마이크와 소프트웨어로 확인해 보면 확실한 차이가 발생한 걸 알 수 있죠.

 

물론 진행자분께서 의도하고 커튼을 열고 닫은 것은 아니실 겁니다.

하지만 그렇기 때문에 오히려 그런 사소한(?) 행동들이 소리에 얼마나 영향을 미치는지 전혀 이해가 없는 상태에서 블라인드 테스트를 진행하셨다는 이야기가 됩니다.

본인 스스로 이런 테스트를 많이 해왔다고 자부심을 갖고 계시던데 그동안 해온 비교 테스트에서 저렇게 노골적으로 소리에 변화를 줄 수 있는 개입을 해왔다는 사실 자체를 본인이 인지하지 못하고 계신 거죠.

 

그러니 저 테스트 영상은 케이블 교체와 상관 없는, 전혀 다른 변수에 의해 소리가 바뀐 것을 케이블의 차이라고 오해하는 경우가 얼마나 많을지 유추할 수 있는 영상인 셈입니다.

 

제 말이 못미더우시면 측정 마이크 그리 비싸지 않으니까 이 기회에 하나 장만하셔서 한 번 비교해 보시기 바랍니다.

 

ㄱ. 오디오룸에 설치된 커튼을 반쯤 열거나 닫거나

ㄴ. 오디오룸의 창문이나 방문을 반쯤 열거나 닫거나

ㄷ. 오디오룸에 혼자 있을 때와 가족이나 대형 반려견이 옆에 앉아있을 때

ㄹ. 평소 청취 위치에서 앉던 의자나 소파를 10cm만 전후좌우로 이동해 보거나

ㅁ. 오디오룸의 창문을 열어놔서 낮과 저녁 일교차로 인해 실내 온도가 10도 이상 달라졌을 때 평소 청취위치에서 들리던 특정 대역의 부밍이 달라졌는지, 아니면 부밍이 발생하는 위치가 변했는지 등등 

 

아주 사소한 변화들이 실제 소리에 어떤 차이를 만드는지 한 번 마이크로 측정해 보세요.

소리라는 게 얼마나 사소한 것들로 인해 바뀌는지 알게 되면 꽤 놀라실 겁니다.

 

단언해서 말씀드리지만, 저 테스트 장소에서 동일한 케이블에 동일한 오디오로 음악을 재생해도 커튼만 살짝 열고 닫는 것으로 소리의 차이를 만들 수 있습니다.

 

그리고 실제론 커튼이 열린 정도만 달라진 게 아닙니다.

숨은 그림 찾기 같지만 두 개의 상황은 다른 점들이 있죠.

 

의자에 앉아계신 참가자분의 청취 자세가 다르고 사진 상으로는 동일해 보이지만 참가자분 옆에 서있는 진행자분의 위치나 자세도 테스트 도중 계속 미세하게 바뀝니다.

 

참가자분께서도 자세를 계속 바꾸시긴 하는데 B 테스트에선 대부분의 시간을 상체를 숙인 채 들으셨고 A 테스트에선 상체를 세운 채 듣는 시간이 더 많았습니다.

이렇게 자세가 바뀌면 스피커로부터 청취자의 귀까지 거리가 수십 cm 단위로 변하게 됩니다.

이런 요소들은 테스트를 촬영한 장비에 내장된 마이크가 아닌, 테스트 참가자 본인에게 들리는 소리에 큰 차이를 만듭니다.

 

전에도 제가 쓴 글에 언급한 내용입니다만 실제로 스튜디오에서 악기 소리를 녹음할 때 마이크 방향을 몇 cm만 바꿔도 악기 음색이 확확 바뀝니다.

이건 현업에 종사하는 음향 엔지니어들이 매일 경험하는 일이고 그들에겐 너무나 당연한 상식입니다.

  

케이블이 음질 차이를 만든다고 믿으시는 분들 중 상당수는 오디오가 재생하는 소리가 단순한 공기의 진동이 아닌, 그 이상의 무엇인가를 담고 있는 것처럼 여기시는 분들입니다.

그렇기 때문에 디지털 케이블을 바꿔도 소리가 변하고 심지어 디지털 케이블에도 방향성이 있어서 정확히 방향에 맞춰 꽂아야 좋은 음질을 들을 수 있다고 믿으시는 거죠.

 

제가 안타깝게 생각하는 건, 그런 분들께서 왜 정작 룸 어쿠스틱으로 인한 변화는 대수롭지 않게 생각하시느냐는 겁니다. 

룸 어쿠스틱에 대해 조금이라도 이해가 있는 분이라면 블라인드 테스트를 진행하는 도중 커튼을 여닫는 행위가 어떤 결과를 초래할지 모를 수가 없죠.

 

케이블로 인한 차이보다 커튼을 열고 닫는 행위가 실제 사운드에 훨씬 더 큰 영향을 미칩니다.

이건 다름의 문제가 아니라 명백한 음향공학적 사실입니다.

 

5. 같은 결과를 재현할 수 있을까?

 

해당 테스트의 진행자분은 ABX 테스트도 아닌 AB 테스트를 하면서 A와 B는 두 번씩 넣어야 비교가 된다며 자신의 진행방식이 맞다고 강변합니다.

 

하지만 그것은 DBT의 가장 핵심적인 조건마저 무시한, 신뢰성을 담보할 수 없는 테스트 방식입니다.

여러 명이 참가하는 테스트에서 1/6 확률이면 A와 B를 구분하지 못하는 참가자들이 그냥 운에 맡기고 찍어도 정답자가 나오게 마련이니까요.

 

다시 말씀드리지만 저는 오프라인에서 이런 테스트를 시도한 노력 자체는 박수를 보냅니다.

하지만 이렇게 신뢰성을 확보하지 못한 테스트 결과를 가지고 케이블의 차이를 구분해낸 유의미한 성과라고 받아들여선 안 됩니다.

  

저 테스트에서 정답자가 나왔다지만 DBT의 엄격한 조건을 지켜서 다시 한 번 테스트한다면 과연 정답을 모두 맞추실 수 있을까요?

 

ㄱ. 진행자가 비교하는 대상의 정체를 모르게 하고

ㄴ. 비교 대상에 어떤 선입견(플라시보 효과 + 심리적 압박)도 작용할 여지를 제공하지 않으며

ㄷ. A 두 번, B 두 번 총 4번의 테스트를 하는 게 아니라 ABX 방식으로

ㄹ. 15~20회 정도의 충분한 횟수로 테스트하되

ㅁ. 케이블 교체 외에는 소리에 영향을 미칠 수 있는 다양한 변수를 최대한 통제해서 다시 테스트를 진행한다면

 

저는 테스트 결과가 전혀 달라질 것이라는 쪽에 배팅하겠습니다.

  

 

사족1. 게시판에서 케이블 논의가 피곤하다는 글을 올리시며 '일단 어느 정도 주의 환기가 되었으니'라고 말씀하시는 분이 계시던데 저는 어떤 사안에 대한 논쟁 자체를 죄악시하는 의견에 동의하지 않습니다.

 

시끄러운 건 나쁜 것이고 좋은 게 좋은 것이라는 분들의 가치관은 존중받아야 합니다.

하지만 같은 의미로, 논쟁을 통해 조금이라도 진실이 드러나거나 한발자국이라도 발전하길 원하는 사람들의 가치관도 존중받아 마땅합니다.

그러니 누군가의 입을 닫게 하는 것을 '주의 환기'라는 표현으로 강제하는 일에 저는 동의하지 않습니다.

 

 

사족2. 다름의 문제를 틀림의 문제로 규정하는 폭력도 문제지만, 명백히 어느 한쪽의 거짓임이 분명한 사안을 다름의 문제로 물타기하는 것도 지양해야 합니다.

 

케이블로 인한 음질의 차이를 인간이 구분할 수 있는지는 다름의 영역이 아닙니다.

시중에서 판매되고 있는 수백, 수천만 원짜리 케이블들이 진짜 음질의 차이가 있는지, 아니면 케이블 제조사들의 사기극인지는 분명 어느 한쪽이 진실일 수밖에 없는 사실과 거짓을 판가름해야 하는 사안입니다.

이미 케이블 간에 차이가 있다고 믿으시는 분들의 생각까지 바꾸긴 힘들겠지만, 새로운 피해자가 계속해서 늘어나는 것을 막기 위해서라도 진위는 가려져야 합니다.