여론조사에 대한 활용이 늘어나고 이에 대한 보도가 증가하면서 표집틀이나 표집방법, 자료수집방식 등에 다양한 변화가 나타나고 있다. 특히 전화면접을 대체하는 자동응답시스템(ARS) 비중이 크게 높아졌다.
문제는 대통령 국정 수행 평가, 정당지지율, 총선 구도 및 투표 선호 등에서 전화면접과 ARS 조사 간 상이한 결과로 인해 혼선이 발생하고 있다는 점이다. 논란이 되고 있는 정치적 편향성, 신뢰성과 대표성, 정확성 측면에서 두 가지 자료수집방식을 비교 검토하고 있다.
자료수집방식에 따른 결과 차이를 정치적 편향으로 ‘공식화’하는 경향이 있고, 특정 정파의 이해관계를 반영하고 있다는 의문이 제기되기도 한다. 그러나 이런 경향은 시점에 따라 또 자신의 유불리에 따라 다르게 나타난다.
가령, 불과 1년 전 ‘전화면접=이재명 유리, ARS=윤석열 유리’ 공식이 정권 교체 이후엔 ‘전화면접=국민의힘 유리, ARS=민주당 유리’로 변화되었다. 결국 특정 자료수집방식과 정파성을 연결하는 건 성급한 일반화로 판단된다.
중앙선거여론조사심의위가 발간한 백서나 학계 연구를 보면 여론조사 품질 지표 측면에선 전화면접이 ARS보다 우수하다는 데 논란의 여지가 없다. 어떤 방식으로 계산한 응답률이든 전화면접이 우월하고 가중배율 값 역시 ARS보다 1에 더 수렴하고 있다.
그럼에도 응답률과 가중배율 등이 조사결과의 정확성 및 편향성에 미치는 영향에 대해선 논쟁 여지가 있다. 전화면접은 양호한 품질 지표를 근거로 방법론적 원칙과 신뢰성을 강조하고 있지만, ARS의 경우 높은 응답률이나 낮은 가중배율이 더 정확한 결과를 보장하는 건 아니라고 반박한다.
선거여론조사에서 나타나는 저(低)관여층 혹은 저(低)관심층은 투표소에 가지 않을 가능성이 높다. 그래서 투표 확실층에 가까운 고관여층 혹은 고관심층 여론을 대변하는 ARS가 실제 결과를 더 정확히 예측할 수 있다고 주장한다. ‘꿩 잡는 게 매’라고 실제 투표 결과에 대한 예측 정확성으로 자료수집방식을 평가하자는 것이다.
이런 주장은 몇 가지 한계가 있다. 첫째, 고관여층 단독으로 전체 여론을 좌우할 만큼 비중이 높지 않다. 둘째, 고관여층 크기는 선거 시기나 정치적 상황에 따라 상당히 유동적이다. 셋째, 고관여층 못지않게 투표 참여율이 높고 다른 집단과 대비되는 독자적 정치성향을 띠고 있는 중(中)관여층에 대한 분석이 빠져 있다. 넷째, 고관여층을 제외한, 가령 유동층(Swing Voter)이나 탈정파적 유권자가 막판 승부에 결정적 역할을 할 수 있다는 것이다.
