선거 출구조사, 어떻게 해석해야 할까

또 한 번의 혼란

역시나 출구조사는 실망시키지 않았다. 범진보 진영이 200석을 넘게 차지할 것이란 예측은 또 한 번 보기좋게 빗나갔다. 출구조사 결과만 보고 어마어마한 환호를 하다가 시간이 지나면서 점차 그 정도가 사그러드는 현상은 열린우리당이 시초였고, 그 이후에도 이미 몇 번 본 적이 있다. 그렇다고 조사가 잘못되었다는 의미로 하는 말은 아니다. 비록 이미 투표함에 들어있는 투표 용지 중 일부를 꺼내서 세어보는 것과 동일한 결과를 얻는다고 가정하는 방식으로 조사를 하는 것이지만, 그 외적인 변수들이 많이 작용하기 때문에 총선 투표 결과를 정확히 예측하는 것이 그만큼 어렵다는 것을 또 한 번 경험하는 중이다. 선거 및 선거 조사와 관련해서 몇 가지 생각을 나누어 보고자 한다.

조사 외의 처리도 중요

우선 사전투표가 출구조사에 반영되었는가 하는 것인데, 일단 보정한 것을 방송사에서 발표한 것으로 알고 있다. 다만 어떤 식으로 보정하였는지는 알 수가 없기 때문에 사전투표가 결과에 얼마나 영향을 미쳤는지 외부인이 판단하기는 불가능하다. 그리고 데이터는 공동으로 받아서 개별 방송사가 독자적으로 예측은 진행한 것으로 아는데, 예측 방식이 방송사마다 다르기 때문에 일반론적인 평가를 할 수는 없다. 그러므로 순수히 출구조사 자체만 놓고 생각해 보기로 하자.

통제할 수 없는 비표집오차

먼저, 이전부터 국회의원 선거 조사는 500명을 대상으로 하는 것이 관습처럼 되어 있었는데, 왜 그런지 이해를 잘 못하겠다. 아마 효과 대비 적정 비용 때문이 아닐까 추측은 해 본다. 조사를 하려면 600명이 낫다고 생각한다. 여러 유형의 설문조사 결과 데이터를 받아놓고 분석 및 해석을 하다 보면, 응답자 수가 600명이 넘어야 데이터 내부적인 일관성이나 비슷한 조사를 일정 기간 이후 다시 하거나 할 때 안정되어 있다는 느낌을 받았다. 다만 이는 순수히 개인적인 경험에 바탕을 둔 것일 뿐 과학적 근거를 제시할 수도 없고 누가 틀렸다고 해도 반박할 생각도 없다. 그래도 조사를 하고 싶은 사람이 있다고 하면 표본수를 600명, 800명, 1,200명 이런 식으로 늘려 가라고 권장하고 싶다.

표본수는 오차의 크기와 반비례한다. 그래서 오차범위 내, 오차범위 밖이란 표현을 사용하는데 문제는 오차범위란 표집오류(sampling error)에 관한 것이고 실제 현장에서 마주치는 여러 문제들은 대부분 비표집 오류(non-sampling error)에 기인한 것들이다. 따라서 표집오류만 다루는 교과서 내용만으로는 결코 현상을 제대로 이해할 수 없다. 비표집 오류란, 예를 들어 A후보에 투표해 놓고도 출구조사원에게는 B후보에 투표했다고 말을 한다든가, 매 다섯 번째 투표자에게 질문해야 하는데 응답을 거절한다든가, 아니면 누군가 지나갔는데 투표는 하지 않고 구경하러 온 사람이었다든가 하는 등등의 경우를 말한다. 95% 유의 수준, 5% 위험 수준 등은 모두 표집오류의 확률을 계산한 것이다. 비표집 오류는 오차의 확률을 계산할 수가 없다. 계산할 수 있으면 계산했을 것이다.

아마 이번에도 ‘샤이(shy) 보수’가 많았다는 식의 해석이 나올지도 모르겠는데, 이런 현상이 비표집 오류에 포함되는 내용들이다. ‘샤이 보수’란 표현은 사후 가정일 뿐이기 때문에 실체가 있는지는 모르나, 일반적으로 돈이 많은 사람들은 자신에 관해 남에게 얘기하는 걸 꺼리는 경향이 있다고 알려져 있다. 실제로 상류층 사람을 만나서 인터뷰하기는 매우 어렵다. 분당이나 기타 일부 지역에서 이런 이유로 사전 및 사후 조사 결과가 틀려졌을 가능성은 충분히 있다. 그러나 어디까지나 하나의 가능성일 뿐이고, 이것이 이유라고 확정할 수는 없다.

결국은 해석과 활용의 문제

오차 범위가 나왔으니 하는 말인데, 어떤 글에서 표본 크기가 500명일 경우 8.8% 이내의 차이인 경우에는 오차범위 내의 우세라고 하면 안 된다고 쓴 글을 본 적이 있는데, 그렇게 말할 수는 없다. 순수히 표집오차만 있다고 가정했을 경우 저 오차범위 8.8%는 95%의 신뢰도로 얘기하는 것인데 약 7.1% 정도보다 큰 차이가 나면 90%의 신뢰도에서 우세하다고 말할 수 있다. 5~600명 조사에서 5% 정도 차이가 나면 70% 정도 유리하다. 90%나 70%의 신뢰도를 어떻게 해석할 것인가는 데이터를 이용하는 사람이 판단할 문제라 본다. 다만 70% 우세는 0%에 비교해서 70%는 아니고 아무런 차이가 없는 경우가 50%인데 내가 이길 확률이 최소 70%는 된다는 것이다. 이를 유리하다고 봐야 할까, 아니면 차이 없다고 봐야 할까? 판단은 어디까지나 당사자의 몫이다.

그러면 비표집 오차가 있는 표본 조사는 모두 무의미한 것일까? 그렇지는 않다. 다만 틀릴 확률을 알지 못할 뿐이다. 그래서 여론 조사 등에서의 차이가 오차 범위 안이냐, 밖이냐 하는 구분은 사실상 큰 의미는 없다. 그저 차이 많이나면 뒤집어질 확률이 좀 떨어지고 적게 나면 뒤집어질 가능이 크다는 것 뿐이다. 500명 조사했을 때 95% 유의 수준에서 8.8%의 차이가 나면, 20번 중 한 번은 반대의 결과가 나온다고 하는 것은 어디까지나 표집오차 만으로 추정한 것이지 비표집 오차가 작용하는 순간 어느 정도가 될지 아무도 모른다. 그런 위험을 감안하더라도 조사 데이터가 있는 것이 없는 것보다 낫다.

그런데 사전에 선거 전략 수립 등을 위해서라면 의미가 있지만 출구조사는 어떤 의미가 있을까? 판단하기 어렵다. 초경합 지역은 아무리 조사를 잘 해도 맞을 확률은 반반이고, 개표를 다 해 봐야 결과를 알 수 있다는 사실도 다 아는 사실이다. 그런데 출구 조사에서 빨리 알고 싶은 것도 그런 지역이다. 이것이 총선 출구 조사의 딜레마이다.

7~8% 차이인데 경합이라니

개표 방송을 보면서 7~8%의 차이를 ‘경합’이라고 표현한 것이 다소 거슬렸다. 이 정도면 제법 큰 차이로 보였는데 경합이라고 하니 조사결과가 없어보였다고나 할까. 선거구마다 득표율 차이에 대해 확률을 계산해서 90% 우세, 75% 우세, 이런 식으로 써 주는 건 어떨까.

또 50% 이상 개표가 진행된 상황에서는 후보들의 득표율과 득표율의 차이, 즉 퍼센트 값보다 남아 있는 표와 현재 득표수의 차이 실제 숫자를 써서 보여주는 게 상황을 이해하기에 더 쉽지 않을까 하는 생각이 든다. 개표 90%인데 0.2%차이는 감이 잘 안 온다. 1000표가 아직 집계되지 않았는데 200표 차이가 난다든지, 아니면 3000표 남았는데 1000표 차이가 난다고 하면 좀 더 실감나지 않을까.

문제와 답은 현장에

이런 분석적인 얘기 외에 국내에서 처음 ‘선거후 조사’가 실시되었던 1992년 총선에서 실제로 경험했던 일을 하나 소개하고자 한다. 굳이 ‘선거후 조사’란 표현을 쓴 이유는 이 때는 출구조사가 아니고, 선거 당일 전화 조사로 진행을 했기 때문인데, 지금부터는 편의상 출구조사라 부르겠다.

당시는 박계동 전의원이 고(故) 노태우 전 대통령의 비자금을 폭로하여 일약 전국적인 인기 스타가 되었던 때이고, 양천구로 기억하는데 그가 당시 총선에 출마했었다. 당연히 선거에서 당선될 것으로 모두가 예상했고, 선거 이전 조사에서 거의 15% 이상의 차이로 이기는 것으로 나왔다. 선거 당일 출구조사에서도 약 오후 1시 내외 결과가 10% 이상 차이나게 이기고 있어서, 더 이상 조사를 진행하지 않을 계획이었다 (당시는 지금처럼 컴퓨터가 좋지 않아서, 데이터 처리에 상당한 시간을 필요로 해서 오후 2시인가까지 1차 집계를 해서 큰 차이가 나는 지역은 그 시점에서 조사를 중단하고 차이가 적은 지역만 오후 4시까지 조사를 하기로 했었나 그랬었다).

그런데 양천 지역 현장 판세가 좀 다른 것 같으니 다시 확인해 보라는 제보가 있어 추가적으로 조사를 더 진행했는데, 결국 적은 비율이나마 결과가 뒤집힌 것으로 조사되었고, 실제로 박계동 후보는 낙선하였다. 그 지역구는 그렇게 맞췄으나, 다른 곳에서 많이 틀리는 바람에 총선 출구조사 ‘흑역사’의 시작이 되었다.

당시 첫 출구조사를 하면서 같이 하던 연구진들은 그 이전까지는 정답을 모르던 조사만 했었는데, 이때는 출구조사가 나중에 정답이 밝혀지는 만큼 과연 결과가 얼마나 정확할지 약간은 불안한 예상을 해보기도 했다. 또 이미 그 전에 많은 정치조사 경험을 갖고 계시던 분이 국회의원 선거 조사는 그렇게 단순하지 않아서 단순히 지역구마다 500명씩 조사해서 결과를 예측하려는 시도가 매우 위험하다고 경고하셨는데 실제로 그렇게 되었다.

선거가 끝나고, 또 출구조사가 왜 틀렸는지에 관한 많은 분석과 해석들이 나오는데, 한마디로 지역구마다 틀린 원인이 다를 것이다. ‘샤이 보수’가 있는 지역이 있고 없는 지역이 있을 것인데, 그걸 확인할 수가 없다. 그러니 이런 저런 이유들이 있을 수 있다고 애기할 수는 있지만 문제해결에는 별 도움이 안 된다. 다만 정답은 현장에 있고 조사회사와 실무 담당자들이 분석하고 판단하고 대책을 마련할 일이다. 선거 결과를 갖고 왜 조사가 틀렸는지를 파악하려는 노력은 사실은 목적과 수단이 뒤바뀐 것이다.