노골적으로 의도를 드러내거나 응답을 유도하는 질문으로 인해 이에 대한 규제가 필요하단 얘기가 나오고 있다. 그럼에도 법적 규제는 말이 되지 않는다. 아트(Art)에 가깝기 때문에 어떻게 질문해야 하느냐는 건 정답이 있을 수 없다. 그리고 액면으로도 얼마든지 판단할 수 있다.
조사자 혹은 피조사자 관점에 따라 얼마든지 상이한 평가가 가능한 점도 감안해야 한다. 가령, 이재명 민주당 대표 혹은 이재용 삼성전자 회장의 ‘사법 리스크’에 대한 여론조사를 할 경우… 그냥 사법 리스크에 대해 묻는 것과 이에 대해 설명하는 것 중 어떤 것이 맞는지 판단이 쉽지 않다.
아무도 요청한 적이 없지만, 문제가 있다고 생각되는 질문지에 대한 첨삭, 즉 ‘바루기’를 생각하고 있다. ‘바르게 하다’란 의미를 지닌 타동사 ‘바루다’의 명사형이다. ‘바로 잡기’ 혹은 ‘바르게 하기’라는 뜻이다.
약간의 지식과 상식, 경험을 바탕으로 질문지 작성자와 다른 방향으로 한 번 생각해보자는 의도를 담을 예정이다. 서론 격으로 질문지 작성과 관련해 가장 흔히 나타나는 편향 중 하나인 ‘사회적 바람직성(Social Desirability)’을 묻는 질문에 대해 다루고자 한다. ChatGPT, Bard의 도움으로 편향을 줄이는 전략도 함께 살펴보고 있다.
첫째, 정부나 지방자치단체 등 공공기관 정책 관련 질문에서 사회적 바람직성 편향이 자주 나타난다. 주민들의 편의 개선 정책을 시행하겠다거나 환경오염 방지시설 설치에 대해 물을 경우 좋은 게 좋다는 식의 응답이 가능하다. 김포시 등 인접 도시를 서울특별시에 편입하겠다는 것도 비슷한 맥락이다.
특정 정책의 부정적 측면을 함께 물어야 한다. 어떤 정책이든 부작용이나 한계, 대안적 정책 등이 있기 마련이다. 새로운 정책 시행 및 시설 설치를 위해선 추가적인 예산 혹은 세금이 필요하며, 서울특별시 편입 역시 반드시 좋은 측면만 있는 건 아니기 때문이다.
둘째, 투표의향 복리후생 등 윤리적 방향을 묻는 경우도 편향을 유발한다. 가령, 여론조사에서 나타난 투표의향은 실제 투표율과 늘 괴리를 보여주고 있다. 사회적 약자를 돕거나 지원하기 위한 활동 역시 실제보다 찬성 응답이 높은 경향이 있다.
실제적 행동 질문을 추가하는 방법이 있다. 투표의향만 묻는 대신 투표장소를 알고 있는지, 사전투표를 포함해 언제 투표할 것인지, 누구와 함께 투표하러 갈 것인지 등을 추가하면 실제 투표율에 가까운 수치를 획득하는 데 도움을 받을 수 있다.
중립적이거나 판단이 들어가지 않는, 즉 실제적 행동을 물어야 한다. 가령, “평소 재활용 등 환경 친화적 행동을 하는가” 대신 “최근 1주일 혹은 1개월 동안 재활용 등 환경 친화적 행동을 얼마나 자주 했는지” 빈도를 묻는 게 좋다. 흡연이나 음주의 경우에도 평소 흡연량이나 음주량 대신 지난 주 횟수를 물으면 편향을 줄일 수 있다.
간접적이거나 제3자 시각을 묻는 것도 좋다. 가령, “00님 주변 사람들은 이번 선거에서 누가 당선될 것이라고 얘기하는가”를 묻는 형식이다. “실제와 다르게 이력서를 작성해 본 적 있는가”라는 질문 대신 “일반적으로 이력서가 정확한 정보를 제공한다고 보십니까”라고 묻는 방법이 있다.
효과를 장담하기 어렵겠지만, 응답자에게 개별 응답의 비밀이 유지된다는 점을 보장해야 한다. 정직한 응답 제공을 장려하는 등 응답자의 진실된 의견이 얼마나 중요한지에 대해서도 강조할 필요가 있다.
셋째, 너무나 쉽게 혹은 편하게 답변할 수 있는 질문을 하는 경우도 편향 소지가 있다. 한국갤럽이 정기적으로 실시하는 ‘한국인이 좋아하는 것’ 조사를 예로 들 수 있다. 한국인이 가장 좋아하는 나무=소나무, 한국인이 가장 좋아하는 음식=김치찌개 혹은 된장찌개, 한국인이 가장 좋아하는 소설가=이외수, 한국인이 가장 좋아하는 스포츠선수=손흥민 등등.
진짜 좋아할 수도 있지만, 가장 쉽게 떠오르는 것을 답변했을 가능성이 있다. 해당 항목에서 한국인이 가장 먼저 연상한 것일 수 있다는 얘기다. 이런 가정이 맞다면, 한국인이 가장 싫어하는 것을 물어보면 비슷한 응답 결과가 나올 수 있다. 실제로 한국인이 가장 좋아하는 DJ와 가장 싫어하는 DJ가 동일 인물인 경우가 있었다.
스포츠선수의 경우엔 언제 조사했느냐에 따라 달리 나올 수 있다는 한계를 표기해야 한다. 농구나 배구 시즌인 겨울엔 손흥민이나 김하성 등이 높은 순위를 차지하기 어려울 것이기 때문이다.
넷째, 너무 당연한 내용을 묻는 경우도 문제다. 가령, 전혀 논쟁거리가 되지 않거나 편향된 질문을 통해 하나의 항목에 90% 이상 응답이 몰리는 경우. 예전 상황이긴 하지만, YS 대통령이 방금 뽑혔을 때 국정 수행 기대감을 물은 경우, 그리고 잘못된 역사를 바로잡겠다는 과거사위원회 활동에 대한 평가 등을 사례로 들 수 있다.
그렇게까지 높게 나올지 몰랐다고 발뺌할 수도 있지만, 조사자라면 대개 미리 알고 있을 것이다. 변수가 아닌 상수에 가까운 내용을 질문지로 잘못 만들었거나 혹은 어떤 의도를 가지고 있거나 둘 중 하나라고 생각한다. 그런 상황이 예상되는 경우 해당 질문을 빼거나 다른 방식으로 물어야 하는데, 그걸 버젓이 제목으로 뽑는 몰염치 몰상식한 경우를 목격할 때가 있다.
