Q1. 여론조사는 틀릴 수 있더라도 투표자 대상 출구조사는 맞혀야 하는 거 아닌가
사회 이슈에 대한 일반 국민의 공통된 의견을 알아본다는 점에선 여론조사나 출구조사나 동일하다. 선거 혹은 투표에 한정할 경우 여론조사는 투표 참여 여부와 무관한 모집단을 대상으로 하는 데 비해 출구조사는 투표 참여자를 대상으로 한다는 점에서 차이가 있다. 그래서 사전 여론조사보다 출구조사에 대한 기대가 높다. 예측 정확성이 더 높을 것이란 기대 말이다.
방금 투표하고 나온 유권자 5명 중 1명가량이 응답을 거절한다고 한다. 만약 고령층 중심의 보수 성향 응답자들이 출구조사에 응하지 않는 비율이 높아지면 예측 정확성이 떨어질 수밖에 없다. 이들을 ‘샤이 보수’라고 부르면서 예측 실패 원인으로 보는 전문가도 있다. 자신의 실제 투표와 다르게 응답하는 사람이 얼마나 될지 모르겠지만, 이들도 빗나간 예측에 기여했을 것이다.
중앙SUNDAY에 기고한 서울대 이준웅 교수 칼럼에서 알 수 있듯이 이번 22대 총선 출구조사는 2008년 18대 총선 이래 최대 오차를 나타냈다. 1, 2위 후보 각 예측치와 실제 득표율 간 차이를 구해 평균을 낸 결과값(2.94)이 꾸준히 낮아졌다가, 즉 정확성이 개선되었는데 이번에 다시 퇴보했다는 얘기다. 전체 투표율 대비 사전투표율이 높아졌고, 여론조사를 통해 이들 의견을 수집 반영하는 과정에서 오차가 늘어났을 것으로 판단된다.
Q2. 2년 전 대통령 선거 때 ‘족집게’였는데… 사과해야 할 정도로 ‘틀린’ 이유가 있나
“불과 2년 전 대통령 선거 때 출구조사는 이재명 당시 민주당 후보의 득표율을 소수점 첫째 자리까지 맞혔다. 윤석열 당시 국민의힘 후보 득표율도 실제와 0.16%포인트 차에 불과해 ‘족집게’ 소리를 들었다. 하지만 2년 만에 방송사들이 사과 공지를 낼 정도로 ‘틀린’ 조사가 됐다.”
틀린 얘기가 아니지만… 틀렸다. 2년 전 정확했던 출구조사에 무슨 문제가 생겨 틀린 게 아니기 때문이다. 대통령 선거 출구조사는 언제나 정확했고, 국회의원 선거 출구조사는 매번 부정확했다. 전국 1개 선거구를 예측하는 것과 254개 선거구를 모두 예측하는 것이 다르기 때문이다. 3년 후에 치러질 대통령 선거 출구조사는 다시 정확할 것이다. 출구조사 실시 능력이나 노하우가 향상되어서가 아니다.
Q3. 사전투표 때문에 출구조사가 틀렸다고 하던데…
출구조사가 빗나간 가장 중요한 이유로 사전투표자 증가를 꼽고 있는 언론이 다수다. 이에 대한 반감 혹은 대안으로 ‘샤이 보수’를 주요 원인으로 거론하는 경우가 없지 않다. 둘 다 중요하지만, 이번 총선에선 사전투표라는 변수의 영향력이 좀 더 컸을 것으로 보인다.
방송3사 예측은 출구조사 결과에 사전투표자를 대상으로 한 새로운 ‘모드(자료수집방식)’에서 뽑아낸 수치를 보정하는 방식으로 이루어졌다. 20대 총선 당시 12.2%였던 사전투표율은 21대 26.7%, 22대 31.3%로 매번 최고치를 갈아치우며 예측 난이도를 높여주고 있다. 사전투표자 혹은 투표를 마친 유권자를 대상으로 한 여론조사 실시가 처음은 아니다. 몇몇 조사기관이 이런 방식의 여론조사를 통해 결과 예측에 나섰지만, 번번히 실패했던 것으로 알려졌다.
이번 총선에선 사전투표 기간(5~6일) 직후 본 선거 직전인 7~9일 경합 지역구 55곳 5만 명을 대상으로 전화 여론조사를 진행했다. 애초에 박빙으로 예상되긴 했지만, 당선자 예측 순위가 바뀐 곳 상당수가 사전투표자 대상 여론조사를 통해 출구조사 결과가 보정된 지역인 것으로 알려졌다.
Q4. ‘샤이 보수’를 놓쳤기 때문에 출구조사가 틀린 건가
선거 예측 실패의 역사엔 1992년 영국 총선 여론조사도 이름을 올리고 있다. 보수당은 여론조사에서 노동당에 1%포인트 뒤졌지만, 실제 선거에선 7.6%포인트 승리했다. 당시 만들어진 ‘샤이 토리(보수당)’란 용어는 이후 선거 때마다 조사결과를 보정하는 수단으로 사용됐다. 그러나 이후에도 영국 선거 예측 정확성이 나아졌다는 소식을 접한 적이 별로 없다.
‘샤이’ 응답자를 사전에 간파하지 못했다는 건 여론조사 혹은 출구조사를 통한 선거 예측이 빗나갔을 때 가장 흔하게 접하는 변명이다. 이번 총선에서 야당 연합이 200석을 넘겨 개헌선을 돌파할 수도 있다는 여론조사와 출구조사가 이에 미치지 못한 결과로 귀결되면서 ‘샤이 보수’ 때문이란 분석이 나왔다. 그렇다면 지난 2020년 21대 총선 출구조사 예상 대비 민주당의 의석수 초과는 ‘샤이 진보’ 때문이었을까.
‘샤이 보수’가 출구조사 실패 원인 중 하나인 건 분명하다. 그러나 숨은 표심이 특정 정당이나 성향으로 쏠릴 경우 예상치 못한 결과가 나올 수 있다는 건 사후 확신 편향에 가깝다. 그런 표심은 늘 존재했고 앞으로도 그럴 것이다. 여론조사든 출구조사든 샤이 응답을 최소화해 실제 득표율에 근접하는 것이 목표다. 그런 점을 감안할 때 출구조사의 실패는 절대적이 아닌 상대적 기준으로 평가되어야 한다.
Q5. 총선 출구조사가 자주 틀리는 건 (대선이나 지선 대비) 표본이 적기 때문인가
어떤 신문사 기사다. “총선 출구조사가 자주 틀리는 이유로는 표본이 적은 점이 우선 꼽힌다. 사실상 전국이 단일 선거구인 대선에 비해 동시에 254곳의 조사가 이뤄지는 총선 표본은 훨씬 적을 수밖에 없다. 그만큼 오차도 커진다.”
틀린 얘기가 아니지만, 그렇다고 정답도 아니다. 대선 출구조사 표본이 총선에 비해 많은 건 사실이다. 총선에 비해 오차범위가 적은 것도 맞다. 그러나 총선 표본이 적은 건 아니다. 출구조사를 통해 확보한 응답자 35만명을 254개 지역으로 나누면 약 1,400명가량이다. 95% 신뢰수준에서 최대허용 오차범위가 ±2.6%포인트인데, 방금 투표를 마치고 나온 응답자를 대상으로 한 조사 표본으론 적지 않은 규모다.
조사방법 관점에서 볼 때 표본 크기 때문이 아니다. 20%가량의 응답 거절자, 응답자 중 ‘샤이 보수’ 혹은 숨은 표심, 사전투표자 여론조사 및 이에 바탕한 보정, 그리고 ‘알려지지 않은 미지(Unknown Unknowns)’의 체계적 문제 등이 복합적으로 작용했다고 봐야 할 것이다.
Q6. ‘저렴한’ 자동응답방식(ARS)으로도 이번 출구조사 수준의 예측이 가능할 정도로 형편없이 틀렸다고 하는데…
동아일보에 기고한 서울대 한규섭 교수가 “저렴한 자동응답방식(ARS) 조사로 모든 지역구별 당선 확률만 추정해 합산해도 (출구조사) 수준의 예측이 가능하지 않았을까”라고 했다. 막대한 비용을 쓰고도 빗나간 출구조사를 안타깝게 생각해서였을 것이다.
알다시피 출구조사 예측을 평가하는 방식은 한 가지가 아니다. 다수당 예측, 즉 지역구와 비례를 합쳐서 어떤 정당이 다수당이 될 건지는 이번에도 정확히 맞혔다. 과거 총선에서 빗나간 적이 없었던 건 아니지만 말이다.
출구조사의 정확성은 1위 후보 지지율과 실제 득표율 간 격차 평균 혹은 1, 2위 후보 각각의 지지율과 실제 득표율 간 격차 평균으로 평가하는 것이 일반적이다. ‘저렴한’ ARS나 전화면접 여론조사를 통할 경우 1위 후보 예측 여부만으로 평가하는 정확성에선 비슷하거나 심지어 앞설 수도 있지만, 후보 지지율과 득표율 간 차이 평균으로 평가하는 정확성에선 출구조사 수준을 따라갈 수 없을 것이라고 생각한다.
Q7. JTBC 예측조사는 출구조사 없이 여야 의석수를 적중시켰다고 하더라
JTBC는 투표 마감과 동시에 민주당 168~193석, 국민의힘 87~111석이란 예측 결과를 내놓았다. 방송3사에 비해 정당별 예측 범위(구간)가 넓었다는 한계가 있지만, 최종 의석수 예측에 성공한 셈이다. 자체적으로 실시한 심층 여론조사, 중앙여론조사심의위원회에 등록된 여론조사 데이터, 과거 선거 결과 등을 메타분석해 얻은 결과라고 했다.
JTBC와 조사기관(메타보이스), 자문교수의 노력과 수고를 폄하할 생각은 없다. 축하와 박수를 보낸다. 그러나 운이 좋았다고 생각한다. 이런 방식의 예측이 성공한 경우가 거의 없었기 때문이다. 이번 JTBC 예측 방식이 다음 총선에서도 성공할 것이라고 장담하긴 어렵다고 본다.
Q8. 빗나간 총선 출구조사에 대한 원인 분석과 향후 대책은
4월 하순 방송3사와 자문교수, 조사기관이 모여 출구조사 실패 원인 분석과 향후 대책을 수립하는 것으로 알고 있다. 적어도 총선의 경우 이런 행사가 처음은 아니다. 문제는 이미 알고 있는 원인과 대책일 수 있다는 점이다. 어떤 체계적인 문제가 ‘알려지지 않은 미지’로 작용할 경우 백약이 무효일 수도 있다. 특히 254개 지역을 일시에 꼼꼼하게 실행 관리해야 하는 총선의 경우, 특히 박빙 지역구에선 사소한 지엽적 문제라도 그 영향력이 적지 않을 수 있다.
출구조사를 통해 수집된 역사적 데이터, 조사과정에서 형성된 각종 노하우가 상당할 것이다. 많은 비용과 노력, 시행착오를 통해 얻은 것이기에 공개하기가 어렵다는 점을 이해한다. 그러나 적어도 총선 출구조사에 한해선 뾰쪽한 대안이 나오기가 쉽지 않을 것이다. 백서 발간 등의 형식으로 자료를 공개하고 전문가들의 혜안을 널리 구하는 방식을 취해야 한다고 본다.
Q9. 73억가량 비용을 지출했던 출구조사를 앞으로도 계속해야 하는가
비용 대비 효과를 판단하기가 쉽지 않다. 해당 이슈는 방송3사 당사자와 이를 지켜보는 입장이 다르기 때문에 ‘내로남불’에 해당할 수도 있다. 그동안의 관행과 경쟁 방송사를 고려하면 앞으로도 계속할 수밖에 없겠지만, 지켜보는 입장에선 낮은 가성비를 탓하지 않을 수 없다. 대선이나 지선이라면 몰라도… 적어도 총선 출구조사 경우라면 말이다. 총선 출구조사에 한정해 축소 조정이나 실시 중단을 검토해야 한다고 본다.
Q10. 미국 영국 등 선진국에선 어떻게 출구조사를 하고 있나
한때 미국에선 출구조사를 투표소가 닫히는 동시에 결과를 예측하기 위한 용도로 사용하지 않았다고 한다. 대신 출구조사 데이터와 실제 투표 결과를 조합해서 이후 시간에 각 지역별로 누가 승리했는지 판정하는데 사용했다. 출구조사 질문지 역시 다양한 문항을 포함해 투표자 성향을 파악하는 용도에 봉사하게끔 했다.
영국의 정치여론조사기관 Pollbase 설립자 마크 팩(Mark Pack)의 2022년 저서 ‘낱낱이 파헤치는 여론조사의 모든 것(Polling Unpacked: The History, Uses and Abuses of Political Opinion Polls)’을 보면, 미국 등 선진국에서도 출구조사를 둘러싸고 다양한 문제와 곡절이 있었다고 한다. 위대한 성공을 거두기도 했지만, 극적인 실패를 경험하기도 했으며, 조사방법을 개선하기 위해 어마어마한 노력을 들였고 그 과정에서 많은 돈을 쏟아붓기도 했다.
예측은 실패할 수도 있다. 실패로 그치지 않고 더 나은 방법을 모색하는 것이 중요하다. 출구조사는 물론 여론조사도 마찬가지다. 그런 점에서 실망과 배신감을 느낄 수밖에 없다. 사전 여론조사에 대한 뜨거운 사랑과 집착에 비하면, 선거 이후 차갑게 식어버린 관심이 낯설다 못해 신기할 정도다. 전 국민이 동시에 카운트다운 합창을 했던 출구조사도 마찬가지 아닐까.
