여론2024-01-18 14:41

【질문 바루기(5)】무심한 응답 항목 작성 관행 바꿔야

일 방향 질문 문항에서 4점 응답 척도 남발 서열 넘어 등간 척도 수준으로 측정해야

신창운

문) 선생님께서는 다음과 같은 이민자에 대해 어떻게 생각하십니까?

– 결혼 통해 한국에 온 이민자

– 취업 사업 위해 한국에 온 이민자

– 전쟁 재난 피해 한국에 온 난민

1. 매우 호감이 간다

2. 호감이 가는 편이다

3. 호감이 가지 않는 편이다

4. 전혀 호감이 가지 않는다

1월 8~10일 국민 1,001명을 대상으로 실시한 전국지표조사(NBS) 113호(24년 1월 2주)에 포함된 질문이다. 호감 여부에 더해 강도(Intensity)까지 묻는 질문인데, 관행적으로 혹은 무심하게 4점 척도, 즉 ‘강한 긍정, 약한 긍정, 약한 부정, 강한 부정’ 형태로 응답 항목을 구성하고 있다.

폐쇄형 질문 응답 항목의 경우 서로 상반되는 특성을 가지고 있으면 이렇게 만들어도 문제가 없다. 가령, 만족 대 불만, 찬성 대 반대, 보수 대 진보 중 하나를 선택하는 경우다. ‘만족 대 불만’을 리커트(Likert) 척도로 구성하면, ‘매우 만족, 약간 만족, 약간 불만, 매우 불만’으로 작성할 수 있다.

문제는 한 가지 특성 혹은 일 방향을 알아보면서 습관적으로 4점 척도 형태를 사용한다는 데 있다. ‘약한 부정’과 ‘강한 부정’, 즉 ‘호감이 가지 않는 편이다’ ‘전혀 호감이 가지 않는다’는 항목은 비(非)호감 혹은 적대적 감정으로도 볼 수 있지만 호감이 적다는 표현에 가깝다. 수치로 환산하면 마이너스 호감이 아니라 100점 만점에 10점 전후의 낮은 점수대 호감을 지니고 있다는 의미일 것이다.

4점 척도로 측정된 전국지표조사의 첫 번째 질문 응답 결과는 ‘매우 호감이 간다’ 8%, ‘호감이 가는 편이다’ 60%, ‘호감이 가지 않는 편이다’ 20%, ‘전혀 호감이 가지 않는다’ 6%였다. 이런 결과에 기초해 긍정 응답 둘을 합쳐서 호감 68%, 부정 응답 둘을 합쳐서 비호감 26%라고 집계했다.

두 가지 상이한 특성으로 나누기 곤란한 응답 결과를 굳이 나눈 경우라고 생각한다. ‘호감이 가는 편이다’와 ‘호감이 가지 않는 편이다’는 항목은 강도(Intensity) 혹은 정도(Degree)를 가려내는 것이지 호감과 비호감으로 구분하기 위한 척도가 아니다. 그 결과 이민자에 대한 호감이 과대 평가된 측면이 없지 않고, 나머지 2개 문항에서도 그런 경향이 나타나고 있다.

대안은 4점 척도든 3점 척도든 적정 비율에 해당하는 표현으로 응답 항목을 구성해야 한다는 것이다. 단순히 서열 척도에 그치지 않고 항목 간 동일 간격에 가까운 등간 척도로 측정해야 한다는 뜻이다. 가령, 4점 척도로 할 경우엔 100~90%, 70~60%, 40~30%, 10~0%에 해당하는 표현으로, 3점 척도에선 100~80%, 60~40%, 20~0%에 해당하는 항목으로 말이다.

아래와 같이 응답 항목을 바꾸어 측정하면 어떨까 제안한다. 즉,

1. 매우(아주) 호감이 간다

2. 약간(어느 정도) 호감이 간다 혹은 호감이 가는 편이다

3. 전혀(거의) 호감이 가지 않는다

전국지표조사는 무선가상번호 CATI 전화면접 방식으로 실시했다. 오차범위는 95% 신뢰수준에서 ±3.1%포인트, 응답률은 15.8%였다. 더 자세한 사항은 중앙선거여론조사심의위원회 홈페이지를 참고하기 바란다.

관련 태그:
공유하기:

관련 기사