여론조사 결과는 왜 서로 다를까?

[서의곤 칼럼니스트] 여론조사나 정치조사는 이미 우리 일상생활에서 친숙하게 접하는 개념이 됐다. 많은 신문이나 방송 등 언론에서 현재 당면한 사회의 이슈, 정부 정책 등에 관한 여론조사 결과를 발표하고 정당이나 정치인 등에 대한 지지율 등의 조사결과를 발표한다.

어떤 공공의 사안에 대해 국민들이 갖고 있는 태도나 의견 등을 ‘여론’이라고 부를 수 있을 것이다. 국민 개개인은 정부의 정책이나 정부정책이 아니더라도 많은 사람의 관심의 대상이 되는 사회적 이슈 등에 대해 나름대로 찬반 혹은 무관심의 생각을 갖게 된다. 이런 개개인의 생각 하나하나를 모아서 국민 전체의 생각으로 표현하는 것이 여론의 개념과 비슷할 것이다.

이 여론을 알 수 있는 방법 중 하나가 여론조사다. 국민투표 등의 방법도 있겠지만 비용도 많이 들고 국민들이 따로 시간을 내어 투표를 해야 하는 까닭에 실행하기가 쉽지도 않다. 비교적 적은 비용으로 빠른 시간 내에 여론을 파악할 수 있는 방법으로 여론조사가 많이 사용된다고 본다 (달리 마땅한 방법도 당장은 없어 보인다).

꿈틀대는 여론, 특정시점 ‘스냅샷’ 아냐

그런데 최근에 정치적 이슈, 정당과 대통령에 대한 지지도라든지, 잠재적인 대권 후보의 적합도 등에 관한 조사결과들을 언론에 많이 공표하는데 조사에 따라 결과가 천차만별이다. 비슷한 시기에 조사를 했음에도 차기 대통령 적합도에서 여야 후보의 순위가 뒤바뀐 결과 등을 자주 보게 된다. 그러면 왜 이렇게 다른 결과가 나올까? 어느 하나가 맞고 다른 것은 틀린 것일까?

결론부터 말하면 필자는 결과가 서로 다른 것이 틀린 것이 아니라는 주장을 할 것이다. 여론이란 고정된 건축물 같은 것이 아니라, 계속 파도가 밀려오는 동해안에서 해안선을 긋는 것과 같은 작업이다. 여론은 살아서 꿈틀거리는 것이고 지속적으로 변한다. 어제와 오늘이 다르고 오늘 중에서도 시간대에 따라 다를 수 있다. 조사 결과로 보게 되는 것은 특정 기간 (보통 하루나 이틀) 동안의 평균이지 정확한 시각의 스냅샷 같은 것이 아니다.

그렇다 하더라도 같은 시점에 서로 다른 결과들을 내놓은 여론조사들은 불편하다. 도대체 뭘 믿어야 하나 하는 생각이 드는 것도 당연하다. 먼저 실제 조사 과정이 어떻게 이루어지는지를 살펴보고 그 과정에서 답을 찾아보고자 한다.

여론조사는 본질적으로 표본조사다. 대한민국의 성인 모두를 대상으로 가정하고, 그 중 일부에게 의견을 물어서 전체의 의견을 추정하는 방법이다.

표본 조사에서 표본추출을 어떻게 하느냐가 매우 중요하다는 얘기는 들어봤을 것이다. 표본의 대표성이라고도 말하는데, 조사에 선정된 표본, 즉 응답자 집단이 해당 안건에 대해 갖고 있는 의견이 전체 모집단이 갖고 있는 의견의 비율과 일치한다면 표본이 대표성을 갖는 것이고, 그렇지 않으면 대표성이 충분하지 않다고 본다.

무작위 표본추출? 사실은 다르다

표본추출 이전에 먼저 조사 방식부터 살펴보자. 현재 대부분의 조사회사에서 시행하는 여론조사 방법은 전화면접을 사용하는데 여기에는 면접원, 즉 사람이 실제로 질문을 읽어 주고 응답을 기록하는 방법이 있고, 자동 응답 방식 즉 ARS를 이용한 전화 조사 방법이 있다.

ARS 방법은 응답자가 전화를 받으면 미리 녹음된 질문을 기계음으로 들려준 다음 응답자의 선택을 전화기나 휴대폰의 키패드 번호를 눌러 입력받는 방식이다. 쉽게 짐작할 수 있듯 ARS를 이용한 응답은 간단한 질문 몇 개를 물어보는 정도로 제한되며 개방형 응답, 즉 선택지를 미리 만들지 않고 응답자가 임의로 답을 하는 질문은 처리할 수가 없다.

반면 면접원, 즉 사람이 질문을 하는 경우 상대적으로 많은 질문을 할 수 있으며 개방형 질문을 할 수도 있다. 예컨대 특정 후보를 좋아하거나 싫어하는 이유 등을 물어볼 수도 있다.

조사 진행을 사람이 하건 ARS 시스템이 하건 표본추출과정이 필요하다. 인구 전체에게 다 물어볼 수 없으니 1000 명이건 2000명이건 조사 대상 즉 표본을 정하여 질문을 하게 된다. 그런데 누구에게 물어볼 것인가? 여기부터 조사의 실무가 시작된다.

과거에는 집전화번호부 등이 나와 있어서, 그 중에서 번호를 무작위로 추출을 하여 전화를 시도했다. 선택된 번호로 전화를 걸어서, 전화 받는 사람이 답을 해 주면 그 내용을 기록한다. 최근에는 휴대폰 번호를 무작위로 생성하여 질문을 시도해 본다. 무작위로 번호를 생성하여 접촉을 해 보기 때문에 실제로는 존재하지 않는 번호 등도 많이 포함된다. 이들을 걸러 내고 실제 사용 번호 중에서 응답을 해 주는 사람에게 질문을 하고 답을 받게 된다.

전화를 받은 모든 사람이 친절하게 답을 해 주는 것은 아니기 때문에 여기서 응답률의 문제가 발생한다. 휴대전화 사업자(SKT, KT, LGT 등)에게서 미리 안심번호를 구입하여 그 번호를 이용하기도 한다. 이 경우 잘못된 번호는 있을 수 없으며, 사전에 여론조사 목적으로 안심번호 제공에 동의한 사람의 번호만 제공하면 응답률이 상대적으로 높을 것이다. 조사를 시행하는 입장에서는 시간당 더 많은 응답자를 조사할 수 있어 효율적이다.

처음 목표로 한 표본 숫자만큼 응답해 줄 때까지 이 과정을 반복한다. 즉 1000 명이 목표이면 1000명이 설문지 끝까지 답을 해 줄 때까지 표본 선택과 질문 과정이 반복된다.

‘할당추출’로 대표성 보완하기도

그런데 여기서 변수가 있다. 어떤 사람이냐에 관계없이 전국에서 1000명을 조사하는 것이면 1000명까지 조사하면 되지만 우리는 지역에 따라 여론이 많이 다르다는 사실을 잘 알고 있다. 따라서 선택된 1000명이 지역적으로 실제 인구와 비슷하게 분포할 필요가 있다. 그렇지 않고 특정 지역에서 응답자가 많이 나온다면 그 지역의 여론이 전체 결과에 더 큰 영향을 주게 된다.

이런 결과를 예방하기 위해 사전에 지역별로 표본수를 할당하여 둔다. 즉 서울이 전국 인구의 약 1/5이고 수도권이 전체 인구의 약 50%를 차지하는 등의 통계치는 이미 나와있기 때문에 주민등록인구나 유권자 수 등을 기준으로 각 시도별로 적당한 수의 표본을 미리 할당해 두고 그 숫자만큼 조사를 하게 된다.

남자와 여자들은 의견이 다를 수 있고 연령대에 따른 의견의 차이도 크기 때문에 보통 지역, 성별, 연령 등 이 세 가지를 기준으로 표본수를 사전에 정하고 그 숫자만큼 조사를 하게 된다. 이러한 표본추출방법은 엄밀히 말해 ‘무작위 표본추출(random sampling)’이라 보기는 어렵다. 대신 각 세분집단별로 표본수를 할당해 두고 추출한다는 의미에서 ‘할당추출(quota sampling)’이라 부른다.

이렇게 하는 것은 표본의 대표성을 높이기 위한 방법이지만, 그렇다고 대표성을 검증해 볼 수는 없다. 대표성이란 게 원래 우리가 알고 싶은 지표, 예컨대 특정 정책에 대한 지지도에 있어 모집단, 즉 국민 전체의 비율과 표본의 비율이 일치하느냐이지, 할당 기준이 된 변수에 있어 모집단과 표본의 분포가 일치하는지의 여부가 아니다.해당 정책에 대해 전체 인구 중 45%가 지지하면 조사된 표본에서도 45%가 지지해야 한다는 뜻이지, 지역과 성·연령 기준으로 표본집단이 전국 인구와 같은 분포를 가져야 한다는 뜻은 아니다. 요는, 우리가 전체 인구의 45%가 해당 정책을 지지한다는 사실을 알면 조사를 할 필요가 없다.

부자들은 응답 잘 안한다

지역·성·연령이 전반적인 여론을 알기에 부적절한 할당 기준이라는 뜻은 아니다. 다만 이것이 항상 정확하지도 않다. 예컨대 성이나 연령보다 소득 등 다른 기준으로 태도가 많이 다르다면 조사 결과가 틀릴 가능성은 높아진다. 보통 소득이 높은 사람들은 조사에 잘 답을 하지 않는다. 핵심은 우리가 알고자 하는 내용과 관련하여 표본이 전체 집단을 정확히 반영하느냐이다.

조사 방법과 샘플링이 조사 결과를 좌우하는 핵심일까? 이 둘이 상당히 중요하긴 하나 전부는 아니다. 일단 일반인들이 언론상에서 가장 많이 볼 수 있는 여론조사 등에 관해 내부적으로 어떤 과정을 거쳐 결과가 나오는지를 간단히 설명했다. 앞으로 이 조사 실무와 결과의 활용 등에 관련된 이야기를 하나하나 해 보고자 한다.