유사 시점에 동일 조사방법을 사용했음에도 불구하고 상이한 결과가 나타나는 경우가 있다. 휴대전화 가상번호라는 표집틀 및 전화면접 방식을 함께 사용하고 있는 NBS(전국지표조사)와 한국갤럽 정기조사에서 종종 서로 일치하지 않은 결과가 발표돼 혼선을 빚고 있는 게 대표적 사례다.
정당지지율과 무당파 비율, 총선 구도 등에서 두 조사에 얼마나 차이가 있는지, 또 그런 차이가 발생하는 이유와 관련해 유력하게 제기되고 있는 두 가지 가설을 살펴보고 있는 자료가 있어 소개한다.
NBS의 경우 더불어민주당 지지율이 한국갤럽보다 낮게 나타나는 경향이 있다. 동일 시점의 30개 조사에서 국민의힘 지지율은 두 기관이 같았지만, 민주당은 NBS가 평균 3.53%포인트 낮게 나왔다. 시기적으로 다소 차이가 있지만, 무당파 비율은 NBS(29.0%)가 한국갤럽(27.1%)보다 높게 나타났다.
2023년 2월까지만 하더라도 정당 지지율에서 큰 차이가 발생하지 않았지만, 그 이후부터 7월까지 민주당, 무당파 비율에서 두드러진 차이를 보여주고 있다. 8월 이후부터는 그 격차가 좁혀지고 있는데, 상대적으로 NBS 조사가 시점별 변동 민감성이 큰 편이었다.
2024년 4월 총선 구도의 경우 정당지지율보다 더 뚜렷한 차이를 보여주고 있다. NBS에선 ‘국정 안정-여당 지원론’과 ‘정부/여당 견제-야당 지원론’이 오차범위 내 경합 상황이지만, 한국갤럽은 ‘정부 지원 위한 여당 승리 기대’보다 ‘정부 견제 위해 야당 후보 많이 당선’이 12~14%포인트 우세하다.
응답자 성향 분포에 영향 미칠 가능성이 높은 응답률을 집중적으로 살펴봐야 한다. 응답률 크기의 경우 국민의힘 지지율과는 뚜렷한 상관관계가 없는 반면, 더불어민주당 지지율과 제3정당(정의당+기타 정당), 무당파 비율 등과는 유의미한 상관관계를 보여주고 있다.
그러나 응답률이 정치 성향 분포에 미치는 영향은 생각보다 복합적인 요인, 가령 조사기관 효과, 조사 시점 등과 상호작용 관계를 나타내고 있다. 결국 성급한 공식화를 조심하는 대신 실증 분석을 통한 추가적 검증이 필요할 거 같다.
한국리서치 자체 웹 서베이 실험을 통해 총선 인식에 대한 워딩 효과 유무 및 원인을 실증적으로 검증했다. 두 개의 실험 집단, 즉 NBS 워딩을 사용한 A, 한국갤럽 워딩을 사용한 B 집단 간 응답 차이는 워딩 효과로 해석할 순 없었다. 조사 시점에 따라 A 집단에선 안정론 비율이 높게 나온 뒤 격차가 감소하는 경향이 나타났고, B 집단에선 견제론 응답이 압도적으로 높았다.
제3의 요인을 통제한 상황에서의 워딩 효과를 살펴본 결과, B 집단 대비 A 집단에서 국정 견제론이나 응답 유보 대신 국정 지원론 강화 효과가 나타났다. 두 실험 집단 간 차이엔 워딩 효과가 작동하기도 했지만, 두 조사기관 간 응답자의 정치 성향 차이에 따른 영향이 함께 존재했다.
당파적 태도가 확고한 일방적 정부 심판론자 및 일방적 야당 심판론자, 정치에 대한 관심과 참여도가 낮은 냉소층에선 두 집단 간 응답 변화가 크지 않은 것으로 나타났다. 이에 반해 태도 갈등층인 동시 심판론자에게선 강한 워딩 효과가 확인됐다.
한편 당파적 유권자에 비해 지지 정당이 없다는 무당층에서 총선 인식 질문 워딩에 따른 응답 분포 차이가 뚜렷한 것으로 조사됐다. 결국 워딩 효과가 명백하게 나타나는 집단은 다차원 태도 갈등층, 즉 여야 동시 심판론자와 무당층이었다.
