대선캠프 ‘여론’ 헷갈리는 이유

[서의곤 BRiO 대표] 추석 직전에 발표된 두 건의 여론 조사 결과가 아주 상반되어 관심을 끈다. 아래 인용한 내용은 서울신문의 9월 21일자 기사 내용이다.

KBS가 한국리서치에 의뢰해 지난 16~18일 만 18세 이상 1000명을 대상으로 조사한 결과, 이재명 경기지사가 27.8%로 윤석열 전 검찰총장(18.8%)을 오차범위 밖인 9% 포인트 격차로 앞섰다.

…….

반면 한국사회여론연구소(KSOI)가 TBS 의뢰로 지난 17~18일 전국 만 18세 이상 1004명을 대상으로 실시해 같은 날 발표한 여론조사에서 윤 전 총장은 28.8%, 이 지사는 23.6%였다. 해당 기관 조사에서 오차 범위 내이긴 하지만 윤 전 총장이 이 지사에 앞선 것은 4주 만이다.

이를 표로 정리해보자. 비슷한 시기에 갤럽이 조사한 결과도 같이 표시한다. 결과는 모두 1000 명 내외를 조사하고, 지역/성/연령 기준으로 가중치를 주어 1000 명으로 계산하였기 때문에 숫자를 바로 비교하면 된다.

한마디로 세 조사의 결과가 너무 다르다. 한국리서치는 진보 쪽의 결과를 보이고, KSOI는 반대로 보수 쪽의 결과를 보인다. 갤럽 조사는 그 중간 정도이다.

비슷한 시기에 비슷한 방법으로 조사한 것 같은데 비교적 큰 차이를 보인다. 하지만 비슷해 보여도 디테일에서 약간의 차이가 최종 결과에서 큰 차이를 유발할 수도 있으니 자세히 살펴볼 필요가 있다.

조사방법 어떻게 다르나

우선 조사 방법이 서로 다르다. 자동 녹음 및 응답 기능인 ARS이냐, 사람 면접원이 질문을 하고 답을 받는 전화조사이냐의 차이가 있고, 전화번호를 무작위로 생성했느냐 아니면 통신사에서 가상 번호를 미리 받았느냐의 차이도 있다. 갤럽은 유선 번호를 일부 포함시켰는데 다른 두 회사는 무선번호 (휴대폰 번호)만 사용했다는 점도 다르다.

조사 날짜가 비슷한 시기지만 역시 조금씩 다르고, 조사 시간도 다르다. 평일 낮시간에 조사를 하면, 근무시간 중에는 전화를 받지 못하는 사람들은 체계적으로 조사 대상에서 제외된다. 9월18일은 추석 연휴가 시작되는 토요일이라 이 날짜가 포함되었는지의 여부가 영향을 줄 수 있다.

조사결과에 영향을 줄 수 있는 요인은 천차만별이다. 예컨대 면접원이 조사를 하는 것이 ARS에 비해 응답률이 높아서 더 정확하다는 주장도 있지만 사람에 의한 체계적인 오류가 발생할 가능성 역시 높아진다. 또한 조사 책임자의 정치적 성향에 영향을 받는 것도 사람이 개입할수록 그 여지가 커진다. 질문 문구의 미세한 표현의 차이가 전체 질문의 핵심 의미를 응답자에게 다르게 전달할 수도 있다.

위 세 사례만 비교해보면, 사람이 조사를 하는 면접이 응답률이 더 높고, 직관적으로 응답률이 높은 표본이 좀 더 대표성이 좋을 것이라 짐작할 수 있다. 다만 전체 응답률보다, 어떤 특정 편향이 있는 사람들이 응답을 해 주거나 안해주는 성향이 있느냐가 중요하다.

이들 모두를 정확히 통제할 수 있으면 좋겠지만, 당분간 짧은 시간 내에 될 것 같지는 않다. 따라서 다른 요인들은 배제하고 각 조사에서 얻어진 표본의 대표성을 어떻게 판단할 것인지만 살펴보자.

한국리서치, 자영업 ‘이재명 지지율’ 예상외 KSOI는 반대 모습 보여 전화면접 방식, ARS방식 등에서 차이 있어

이를 위해서는 다른 내용들을 함께 봐야 한다. 위 세 조사에서 비교해 볼 만한 다른 변수로 이념 성향, 직업, 학력 등이 있는데, 이념 성향은 결과적인 성격이 강하다. 실제로 이념 성향 분포와 지지 후보의 비율이 같은 패턴을 보이는 것을 알 수 있다.

학력은 한국리서치만 제공하고 있고 위의 세 조사에서 공통으로 제공하는 다른 정보는 직업이 유일하다.

직업, 학력등은 영향 안줬을까

문제는 직업 분포도 모집단 분포를 정확히 알 수 없다는 점이다. 직업 분류에 의한 센서스 조사결과가 있지만, 직업은 변동이 많고 분류 기준 등이 다양하기 때문에 직접적으로 비교하기 어렵다. 화이트 칼라, 블루칼라 등도 명확히 구분하기 쉽지 않다.

그런 한계 내에서 위 데이터를 분석해 볼 수밖에 없다. 비교적 정확한 수치는 농림수산 종사자의 비율이라 생각되는데, 2020년 현재 농가 인구는 전체 인구의 약 4.5%로 추정되고 있다. 한국리서치 조사에서는 이 비율이 2.6%로 상대적으로 낮고 이 집단에서 보수 성향이 강하다면 표본이 제대로 반영하지 못할 수 있다(사실 차이는 크지 않다. 보수 + 1, 진보 -1 해서 2% 정도 차이를 줄일 수 있을 것 같다).

그 외 화이트칼라와 (전업)주부의 비율이 조사기관 간에 다소 차이를 보인다. 이런 다른 직업군에서의 차이들이 조금씩 전체 결과에 축적을 주어 최종 결과에서 큰 차이를 만들어냈을 가능성은 충분하다.

학력을 살펴보자. 2019년 25~64세 인구중 우리나라 고등교육이수율(대학을 졸업한 사람의 비율)은 50%다. 한국리서치의 전문대 재학 이상이 66.7%는 고학력에 편중된 결과이다. 분류 기준이 전문대 및 대학 재학중인 학생들을 어디로 분류하느냐에 따라 학력 분포가 달라지겠지만, 현재 국내 전문대 및 대학교 재학생 숫자는 250만명 정도이고, 전체 유권자 수는 4400만명 정도이다. 약 5.6%에 해당한다.

이들을 전문대 재학 이상에서 빼고 고졸 이하에 더하더라도 여전히 고졸이하와 전문대 재학 이상이 4대 6의 비율을 유지하는데 실제로는 5대 5가 되어야 한다. 더 큰 문제는 고등교육이수 비율이 64세까지의 인구를 대상으로 한 것이고 그 이상의 연령대는 포함하지 않은 것인데 이 연령층에서 고등교육이수 비율은 훨씬 낮아질 것이다. 그리고 65세 이상 유권자의 비율은 20% 전후이다.

이런 점들을 고려해보면, 현재의 표본추출 방법이 특정 직업이나 학력군이 선택되기가 더 쉬울 수 있는 여지가 있다. 그 외 알려지지 않은 다른 요인들 때문에 전체 표본에 편향을 가져올 가능성은 충분히 있다고 생각된다.

눈에 띄는 ‘자영업자의 이재명 지지’ 비율

더 큰 위험은 특정 변수와 관련하여 집단의 분포보다 한 집단 내에서 측정하는 변수에 따른 편향성이 생길 가능성인데, 예컨대 직업별 분포보다 같은 직업군내에서도 특정 성향을 가진 응답자들이 조사에서 더 많이 반영될 가능성이 있다. 다시 이번 데이터의 다른 부분을 살펴보자.

조사에 포함시킨 후보 숫자 등에 따라 최종 지지율이 달라질 수 있고 홍준표, 이낙연 등 다른후보도 있으니 숫자를 직접적으로 비교할 수는 없다. 그럼에도 차이가 좀 커 보이는 집단들은 분명히 존재한다. 농림수산업, 자영업, 화이트칼라, 주부, 기타집단 등에서 좀 차이가 난다.

이 중 특히 눈에 띄는 것이 자영업이다. 한국리서치 조사에서는 이재명 지지 비율이 41%로 윤석열에 비해 월등히 높은데, KSOI에서는 반대의 결과를 보인다. 즉 순위가 바뀔 정도이다. 화이트칼라에서 한국리서치 데이터는 좀 차이가 나는데 KSOI는 별 차이가 없다.

이 결과는 조사 과정에서 어떤 식으로건 정치적으로 편중된 의견을 가진 응답자들이 더 많이 조사에 응답했을 가능성을 제기한다. 어떤 이유인지 모르지만 한국리서치에서는 진보 지향적인 사람들이, KSOI의 조사에서는 보수 지향적인 사람들이 조사에 좀 더 많이 포함되었을 가능성이 있다. 이것이 ARS나 전화면접의 방법의 차이인지, 조사 시간 때문인지 알 수가 없다. 보다 더 진지한 관심을 가져 주기를 바란다.