서베이 혹은 여론조사는 그 과정의 처음부터 끝까지 오차를 줄이기 위한 방법을 끊임없이 고민 연구해야 하는 분야입니다. 그런데 일반인들은 수많은 오차 중 표본추출 과정에서 생기는 것만 알고 있을 뿐입니다. 조사결과를 보도할 때 표본 선정 과정에서 발생하는 오차만 밝히기 때문이죠.
소위 비표본오차가 어느 정도 발생하는지에 대해선 알 수도 없고 계산할 수도 없습니다. 그 중 대표적인 게 질문지, 즉 질의 응답 과정에서 발생하는 오차입니다. 여론조사는 질문의 어감에 따라서도 결과가 다르게 나올 수 있습니다.
가장 최근에 발표된 한국갤럽 데일리 오피니언에 포함된 질문 중에서 오차 발생 여지가 있는 경우를 살펴봤습니다.
초중등 과정에서 한자 교육 필요하다는 '응답 과대'
한국갤럽 데일리 오피니언 514호(10월 1주)에는 한글날 관련 질문이 포함돼 있더군요.
먼저, 이해할 수 없는 건 ‘한자를 모를 경우 생활 불편 여부’(46% 대 51%), ‘한글 한자 혼용 대 한글 전용’(44% 대 48%) 응답이 오차범위 내에서 차이가 없는데 반해, 초중등 교육 과정에서 한자 교육이 필요하다(78%)는 응답이 생각보다 높았다는 점입니다.
그래서 이런 결과를 토대로 “당장 불편함 없고 한글만 쓰더라도 기본 한자는 알아야 한다”는 갤럽리포트 결론은 너무 지나치거나 거친 일반화란 생각이 들었습니다.
한자를 모를 경우 불편하다는 응답이 적지 않았고 한글 한자 혼용 의견도 상당했으며, 더구나 질문 문항 어디에도 ‘기본 한자를 알아야 한다’는 내용이 포함되지 않았기 때문입니다.
특히 제가 문제 삼고 싶은 건 마지막, 즉 응답자 78%가 초중등 교육 과정에서 한자 교육의 필요성을 인정하고 있는 질문입니다. 왜 이런 결과가 나왔는지 알 길이 없지만, 다음 두 가지 방향으로 생각해 봤습니다.
우선 질문지 구조와 관련해 동화 효과(Assimilation Effect)가 나타난 것 같습니다. 선행 문항의 영향으로 인해 이후 제시된 문항의 응답이 앞선 문항과 유사해지는 현상 말입니다. ‘한자 모를 경우 생활의 불편 여부’, ‘한글 한자 혼용 대 한글 전용’ 등의 선행 질문에 응답하면서 새삼스럽게 학습이 이루어졌고 한자 교육의 필요성이 떠올려졌을 것으로 보입니다.
또 하나는 남의 불행을 보았을 때 기쁨을 느끼는, 즉 고통과 기쁨을 뜻하는 독일어 합성어 ‘샤덴프로이데(Schadenfreude)’ 심리가 작용했을 가능성입니다. 초중등 교육 과정에서의 한자 교육은 설사 실행되더라도 18세 이상의 응답자 본인에겐 전혀 부담이 없습니다. 자식이나 손자 입장에선 추가 학습의 부담이나 고통이 따르겠지만 하나라도 더 배워서 나쁠 게 없다는 생각을 했을 수도 있겠죠.
북한 미사일 발사 위협은 ‘Social Desirability’ 묻는 질문
한국갤럽 데일리 오피니언 515호(10월 2주) 질문 중엔 북한의 탄도미사일 발사 실험이 한반도 평화에 위협이 되는지 여부를 묻고 있습니다. 위협이 된다는 답변이 71%, 그렇지 않다는 응답이 24%였습니다.
잊을 만하면 재발하고 있는 북한의 미사일 발사 실험은 한반도 평화를 위협하기 위한 목적이겠죠. 그런 목적이 없다면 적지 않은 비용이 소모되는 미사일을 발사할 이유가 없지 않겠습니까.
몇 번 말씀드렸지만, 사회적 바람직성을 묻는 질문의 전형에 가깝습니다. 언제 어떤 방식으로 묻더라도 위협이 된다는 응답이 많이 나올 겁니다. 이보다 더 높은 응답이 나오지 않은 게 오히려 이상할 정도입니다.
질문지에 대한 의견은 절대적 기준 없어
여기서 사례로 제시한 한국갤럽 질문에 결정적 하자가 있다는 건 아닙니다. 다 아시겠지만 기본적 지침은 있다 하더라도 질문지를 잘 만드는 절대적 기준이나 법칙은 없습니다.
연구자 혹은 조사자에 따라, 조사목적에 따라 질문지에 대한 질적 평가가 달라집니다. 동일 질문 문항을 놓고도 서로 생각이 다르거나 다양한 의견을 피력할 수 있습니다. 그런 의견 중 하나로 받아들여 주시기 바랍니다.
