김어준의 여론조사꽃이 거금을 들여서 수도권 등 여러 지역을 대상으로 총선 여론조사를 실시 발표했다. 11일 ‘겸손은 힘들다 뉴스공장’에서 민주당 혹은 민주당 후보 지지율이 우세하게 나온 자신들의 여론조사에 대해 기성 언론들이 무관심하다고 불만을 피력하고 있다.
반면 ‘여론을 조작’한 것으로 간주하고 있는 한국갤럽 여론조사에 대해선 다수 언론이 보도하고 있는데, 총선 때 어떤 것이 더 정확한지 두고 보자고 호언했다. 이 조사에 기반해 국민의힘 의석이 과반을 넘길 것으로 예측한 전문가 이름도 기억하라고 했다.
박시영 이택수 등 여론조사 전문가의 도움에도 불구하고 김어준은 열렬 지지자와 많은 구독자를 보유하고 있는 유튜버답게 여론조사에 대한 함부로 얘기하거나 낮은 인식을 보여주는 경우가 많다. 몇 가지 점에 대해서만 지적하고자 한다.
“한국갤럽 여론조사 표본 189명은 여론조작이다”
한국갤럽이 매주 실시 발표하는 데일리 오피니언은 전국 1,000명 표본을 대상으로 하고 있다. 하위 표본, 즉 성별 연령별 지역별 수치 등을 인용 보도할 수 있지만, 전국 정당 지지율 추정이 목적이다. 만약 서울 지역 정당 지지율을 알아보기 위해 189명만 대상으로 조사를 실시했다면 모르겠지만, 하위 표본에서 다소 튀는 결과가 나왔다고 여론을 조작했다고 주장하는 건 억지에 가깝다.
한국갤럽에 따르면, 서울 지역의 국민의힘 대 민주당 지지율 격차는 2월 하순과 3월 초순 절정에 달하고 있다. 37% 대 30%였던 2월 4주 이후 5주엔 43% 대 26%로 벌어졌고, 3월 1주에도 45% 대 24%였다. 반면 민주당이 앞선 ‘정상적’ 여론조사로 리얼미터를 제시하고 있는데, 적절한 사례가 아니라고 판단한다. 국힘이 1년 만에 오차범위를 넘어 민주당을 앞섰다던 2월 5주 조사와 두 정당 격차가 다시 오차범위 이내로 좁혀진 3월 1주 조사 둘 중 하나가 튀었다고 보기 때문이다.
“189명으로 35,000명 표본 조사를 어떻게 이길 수 있나”
표본 크기만으로 조사의 신뢰성이나 정확성을 얘기할 수 없다. 같은 조건이면 표본이 클수록 좋지만, 워낙 여론조사는 적은 표본으로 훨씬 큰 모집단 특성을 추정하는 방법이다. 표본 크기보다 구성이 더 중요하고 비표본오차도 고려해야 한다.
여론조사 역사에서 자주 언급되고 있는 1936년 미국 대통령 선거 때의 리터러리 다이제스트와 미국갤럽 사례가 입증하고 있다. 표본 크기 236만명 대 1500명이었지만, 리터러리 다이제스트는 예측에 실패해 회사 문을 닫았고, 당시만 해도 신참이었던 갤럽은 화려한 비상을 꿈꾸게 된다. 확률이 높은 건 아니지만, 35,000명이 질 수도 있고, 189명이 이길 수도 있는 것이 여론조사다.
“비싼 게 정확하다”
자본주의 사회에서 돈이 깡패인 건 맞다. 여론조사에서도 그렇다. 돈이 있어야 조사할 기회가 있고, 많은 돈을 들여야 양질의 조사를 수행할 수 있다. 그러나 돈이 만능은 아니다. 아무리 많은 돈을 퍼붓더라도 해결할 수 없는 변수들이 남는다. 아무리 엄격하게 표본을 뽑더라도 실행에 한계가 있고, 면접원 역량 제고도 돈으로 모두 해결할 수 없으며, 무한정 사용할 수 없는 시간도 돈으로 어떻게 할 수 없는 부분이다.
여론조사꽃이 양질의 조사를 위해 얼마나 많은 돈을 썼는지 자세히 알 수 없다. 적어도 정확한 조사를 위해서라기보다 ‘여러 지역’을, ‘자주’ 조사하는 데 주로 사용한 것으로 보인다. 낮 시간 외에 밤에도 실사를 진행하고 재통화를 몇 차례 추가한다고해서 소요되는 돈이 많이 들어가는 건 아니다. 응답하기 싫다는 사람을 돈으로 매수할 수도 없고, 전문가에게 충분한 자문료를 지급한다고 질문지가 크게 나아지는 것도 아니다.
“서울 지역 양당 지지율 격차가 한국갤럽은 국힘 21%p, 여론조사꽃은 민주당 7%p 우세로 나오는데, 선거결과 두고 보자”
3월 초, 즉 D-30일 시점의 여론조사 결과는 당시 시점의 스냅샷에 불과하다. 투표일 한 달 이전의 판세일 뿐이다. 21%p, 7%p 둘 중 하나로 나올 수도 있지만, 전혀 다른 결과가 나올 수 있다. 만약 둘 중 하나가 정확했다면, 그건 순전히 우연에 의한 것이지 한국갤럽이나 여론조사꽃의 예측 실력 때문이 아니다. 결과를 맞추어도 맞춘 게 아니고, 틀려도 틀린 것이 아니란 얘기다.
“기성 언론매체는 민주당 지지율 우세로 나온 여론조사꽃 여론조사를 왜 보도하지 않는가”
비싼 돈을 들여 의미 있는 조사를 실시했는데, 관심을 보이는 언론매체가 없으니까 답답할 것이다. 이는 여론조사꽃이 자초한, 즉 자업자득에 해당한다. 선거에 임박해선 논란의 소지가 줄어들지만, 평소 여론조사에서 얼마나 많은 질문 편향이 있었는지에 대해선 사례를 열거하기가 숨이 찰 정도다. 김어준은 객관적이고 중립적인 질문은 ‘나쁜 질문’, 민주당에 유리하게 나온 편향적 질문을 ‘좋은 질문’으로 규정한 바 있다.
게다가 진보 성향의 여론조사기관이란 ‘조사기관 효과(House Effect)’도 감안해야 한다. 여론조사를 통해 공천 과정에서 일정한 영향력을 행사하고자 한 것도 널리 알려진 사실이다. 그 결과 보수 성향은 물론 진보 성향의 매체에서조차 여론조사꽃 조사를 다루지 않았던 것으로 알고 있다.
