특정 조사기관이 동일 항목에 대해 동일한 방식으로 실시한 여론조사에서 상이한 결과가 나오는 경우가 있다. 가령, 한국갤럽은 데일리 오피니언을 통해 매주, 엠브레인퍼블릭 등 주요 조사기관 4곳은 NBS(전국지표조사)를 통해 격주로 대통령 및 정당 지지율을 조사 발표하고 있지만, 이와 동시에 개별 고객의 의뢰를 받아 동일 항목에 대한 여론조사를 실시하곤 한다.
한국갤럽이 가장 최근에 실시 발표한 데일리 오피니언 제568호(12월 1주)에 의하면, 국민의힘과 민주당 지지율은 각각 35%, 33%였다. 그러나 비슷한 시기에 국민일보 의뢰로 실시한 조사에선 국힘과 민주당 지지율이 각각 36%, 37%였다. 오차범위 이내의 격차이긴 하지만, 1% 오르내림이 예민한 상황에선 양당 지지율 역전 상황을 순순히 받아들이기가 어려울 것이다.
NBS와 YTN-엠브레인퍼블릭 조사에서 나타난 정당 지지율 격차는 어떻게 받아들여야 할까. 알다시피 엠브레인퍼블릭은 케이스탯리서치 코리아리서치 한국리서치와 함께 NBS를 공동 운영하고 있는 조사기관이다. NBS 110호(11월 4주)에 의하면 국민의힘 34%, 민주당 27%로 국힘이 7%포인트 앞선 데 반해, YTN-엠브레인퍼블릭 조사에선 국민의힘 25%, 민주당 36%로 민주당이 11%포인트 앞선 것으로 나타났다.
두 조사의 가장 결정적 차이점은 정당 지지율 질문 순서였다. NBS는 2020년 7월 처음 시작 때부터 대통령 지지율을 먼저 묻고 그 다음에 정당 지지율을 물었는 데 비해, 이번 YTN-엠브레인 조사는 정당 지지율을 맨 먼저 물었다. 참고로 최근 여론조사에선 조사방식과 무관하게 정당 지지율을 먼저 묻게 되면 민주당이 국힘보다 높게 나오는 경향이 있다.
하나의 조사기관에서 나온 상이한 결과… 당연한 건가 아니면 이상한 건가. 상반된 시각이 존재할 수 있다고 본다. 조사방식이 다르면 상이한 결과가 나오는 것이 당연하다고 생각하는 사람들은 조사 의뢰자가 다르기 때문에 그들의 요구에 맞추다보면 다른 결과가 나오게 된다고 항변할 것이다.
조사기관 나름의 이상적인 혹은 바람직한 방식이 정립되어 있다면 누가 의뢰하더라도 그들을 설득해 일관된 결과가 나올 수 있도록 해야 할 것이란 주장이 가능하다. 조사 의뢰자 맞춤형으로 휘둘리다 보면 둘 이상의 상이한 결과도 감수해야 하는 상황이 벌어질 것이라고 우려한다.
“하나의 여론조사회사가 서로 다른 조사결과를 내놓는 경우, 이를 어떻게 받아들여야 할까”라는 질문을 ChatGPT에게 물어봤다. 다분히 원론적 답변이긴 하지만, 다음 12가지 사항을 점검하라고 조언하고 있다.
방법론 검토: 해당 회사가 사용한 여론조사 방법론을 검토하라. 표본 추출, 질문 표현 또는 데이터 수집 기술 차이가 서로 다른 결과를 도출할 수 있다. 각각의 여론조사에서 일관된 방법론이 적용되었는지 확인하라.
표본 크기: 각 여론조사의 표본 크기를 비교 평가하라. 표본 크기가 작을 경우 신뢰성이 낮은 결과를 얻을 수 있다. 표본 크기가 충분하고 조사 대상 인구를 대표하고 있는지 확인하라.
표본 추출 방식: 해당 회사가 사용한 표본 추출 방식을 검토하시오. 표본이 선택되는 방식에 차이가 있거나 표본 추출 프로세스에 편향이 있을 경우 결과의 정확성에 영향을 미칠 수 있다.
시간 경과에 따른 변경사항: 시간 경과에 따라 여론조사 방법에 어떤 변경 사항이 있는지 확인하라. 방법을 업데이트할 경우 조사 결과에 영향을 미칠 수 있다. 중요한 변경 사항이 있을 경우 비교 가능성에 미치는 영향도 고려해야 한다.
오차 범위: 각 여론조사와 관련된 오차 범위를 고려해야 한다. 여론조사 결과는 절대적이지 않으며 내재적 불확실성을 가지고 있다. 오차 범위를 이해하면 실제 값이 위치할 가능성이 있는 범위를 해석하는 데 도움이 된다.
인구통계학적 분석: 여론조사 데이터에 대한 인구통계학적 분석을 감안해야 한다. 하위 집단 간 결과 차이에 따라 전체 조사결과가 어떻게 다른지에 대한 통찰을 제공할 수 있다.
외부 요인: 조사결과에 영향을 줄 수 있는 외부 요인에 주의해야 한다. 현재의 사건이나 대중 의견 변화와 같은 외부 변수에 따라 여론조사가 영향을 받을 수 있다.
다른 조사와의 비교: 해당 여론조사 회사의 결과를 다른 신뢰할 만한 여론조사기관의 결과와 비교하시오. 여러 여론조사에서 일관성이 있는 경우 결과에 대한 신뢰도가 높아질 수 있다.
역사적 정확성: 여론조사 회사의 역사적 정확성을 평가해야 한다. 정확한 예측 경험 및 기록은 조사결과에 대한 신뢰도를 높일 수 있으며, 부정확한 경험과 기록은 우려를 불러일으킬 수 있다.
전문가 상담: 여론조사 방법론과 결과에 대한 보다 심층적인 분석을 제공할 수 있는 여론조사 및 통계 전문가와 의견을 교환하길 권한다. 전문가는 즉각적으로 알아챌 수 없는 미묘한 차이나 편향을 식별할 수도 있다.
문제의 본질: 특정 사안이나 문제는 여론조사를 통해 정확하게 측정하기가 더 어려울 수 있다. 복잡하거나 민감한 주제는 다양한 요인에 따라 다른 응답을 얻을 수 있기 때문이다.
투명성과 책임성: 여론조사 회사의 투명성과 책임성을 평가하라. 방법론, 표본 추출 절차 및 기타 관련 세부 정보를 공개하는 회사는 조사결과의 신뢰성에 기여할 수 있다.
결론적으로 여론조사 회사가 서로 다른 결과를 내놓을 경우 방법론, 표본 크기, 인구통계학적 분석, 역사적 정확성 및 외부 요인에 대한 철저한 분석이 필요하다. 전문가와 상담하고 다른 여론조사와 결과를 비교할 경우 상황에 대한 보다 포괄적인 이해를 얻을 수 있을 것이다.
