여론조사의 신뢰성과 정확성을 달성하기 위한 두 가지 핵심 중 하나가 질문지다. 최근엔 여론조사의 질문 문항에 대한 규제를 강화해야 한다는 생뚱맞은 주장이 나오기도 했다. 외부 규제나 입법 이전에 조사기관을 중심으로 한 자정 노력이 우선되어야 한다.
국내 유수 조사기관 네 곳이 격주로 공동 진행해 발표하고 있는 전국지표조사(NBS)는 그런 점에서 모범을 보여야 하지만, 가끔 그렇지 못한 경우가 있다. 26일 발표한 10월 4주 조사에 포함된 다음 두 가지 질문에 대해 문제를 제기하고자 한다.
첫째, 물가 수준에 대한 부담 여부를 묻는 질문에 대해서다. ‘매우 부담이 된다’ 46%, ‘부담이 되는 편이다’ 47%를 합쳐 우리 국민 93%가 부담을 느낀다고 답했다. 물가 수준은 누구나 또 언제나 부담을 느낄 수밖에 없지 않을까. 마치 급여 만족도처럼 말이다. 실제로 22년 4월 92%, 10월 94%, 23년 4월 94%였다.
물가 수준 부담에 대한 ‘강한 긍정(매우 부담된다)’과 ‘약한 긍정(부담되는 편)’ 비율 추세 파악이란 용도에 공감한다. 그러나 특정 응답 항목에 90% 이상 응답자가 몰리는 경우는 대개 질문이 잘못 만들어졌거나 의도되었을 가능성이 있다. 오해 소지를 없애기 위해 조심할 필요가 있다.
참고로 생성형 인공지능 ChatGPT는 “하나의 응답 항목에 90% 이상 응답자가 몰리는 경우를 어떻게 생각하는가”라는 질문에 대해 다음 6가지 문제점을 지적하고 있다. 질문 설계 잘못으로 인한 데이터 다양성 및 변화 부족, 데이터를 통해 얻을 수 있는 통찰력 제한, 최종 결과의 편향 및 오도 가능성, 타당성 및 신뢰성 등 데이터 품질 저하, 데이터의 진실 여부와 관련한 해석 어려움, 의미 있는 결정이나 권고 사항 제시 어려움.
둘째, 금리 인상 여부에 대한 질문이다. “한국은행에선 작년부터 올해까지 기준금리를 일곱 차례 연속 인상하였으나 최근 2월부터 여섯 차례에 걸쳐 기준금리를 동결하였습니다. 00님께선 향후 기준금리가 인상되어야 한다고 생각하십니까, 혹은 동결 또는 인하되어야 한다고 생각하십니까?”
우선 위 질문에 대해 어떤 느낌이 드는가. 잘 모르겠지만, 금리 인상이 좋은 게 아닌 거 같은데… 작년에 7번이나 인상했고, 올해 들어 6번 동결했다고. 그럼 앞으로 어떻게? “고마 해라. 마이 무따 아이가” 느낌이 들지 않을까.
응답 결과는 ‘인상되어야 한다’ 20%, ‘동결되어야 한다’ 33%, ‘인하되어야 한다’ 40%였다. 지난 4월 조사에서도 각각 16%, 39%, 38%였다. 어떤 응답 결과든 가능하고 또 받아들여야 하지만, 질문 느낌 때문에 특정 응답이 실제보다 부풀려지는 일이 없도록 유의해야 할 것이다.
질문지 작성을 ‘아트(Art)’라고 말하는 학자가 있다. 어떻게 물어야 맞고 틀리는 건지 정답이 있을 수 없다는 얘기일 것이다. 전국지표조사를 진행하는 조사기관들과 다른 생각을 한번 해본 것으로 받아들였으면 좋겠다.
전국지표조사(NBS)는 10월 23~25일 휴대전화 가상번호를 이용해 1,006명을 층화추출해 전화면접방식으로 실시했다. 95% 신뢰수준에서 최대허용 표집오차 ±3.1%포인트, 응답률은 14.6%였다.
