이재명 지지율 진짜 올랐나

[서의곤 BRiO 대표] 이제 대선도 100일 정도 앞으로 다가왔다. 각 당의 후보가 다 결정되었음에도 지지율에 있어 여론조사 기관에 따라 차이가 꽤 난다. 지난 번에 일반적으로 여론조사 결과에 영향을 줄 수 있는 요인들을 한 번 살펴보았는데 그 이후 공표된 조사 결과들을 보다가 또다른 가능성을 생각하게 되었다. 오늘은 거기에 대해 논의해 보고자 한다.

아래 최근 여론조사 결과 몇 개를 보인다. 이 글에서 사용된 숫자를 포함한 내용은 모두 중앙선거여론조사심의위원회 홈페이지(https://www.nesdc.go.kr)에서 인용한 것이다.

표본 추출 Pool은 어떻게 만들었나

조사 방법이 면접원, 즉 사람이 하는 면접이냐, 기계가 묻고 답을 받는 ARS냐에 관한 언급은 많았지만 표본을 추출하는 목록, 즉 표본추출 Pool (결국 전화번호의 리스트임)이 어떻게 만들어지는지에 따른 차이에는 별 관심을 보이지 않았다. 그런데 질문을 하고 답을 받는 조사방법의 차이보다 이 표본 목록을 생성하는 방법이 결과에 더 큰 영향을 줄 것으로 생각된다. 그래서 이번 글은 이 문제를 검토해 보고자 한다.

현재 여론조사는 무선, 즉 휴대폰 번호를 위주로 한다. 일부 유선 전화 번호를 포함시키는 경우도 있고 무선 번호만 사용하는 경우도 있다. 무선이 대부분을 차지하니 무선 번호의 표본 목록을 만드는 방법을 살펴보자. 표본추출방법으로 크게 두 가지 방법을 사용한다. 첫째는 무작위 랜덤 넘버를 발생시키는 방법 (이하 RDD, Random Digit Dialing)이고 둘째는 휴대전화 가입자들의 가상 번호를 받아서 사용하는 방법(이하 가상번호)이다.

RDD방식은 성공률이 낮아

RDD는 말 그대로 무작위 번호를 생성하는 것인데, 010 이후의 8자리 번호를 무작위로 만들면 된다. 010번호만 이용할 경우 이론상 1억개 (아마 011 등은 시도하지 않을 것으로 예상한다)가 가능하지만, 사용하지 않는 국번 등이 있을 것이다. 갤럽은 6997개 국번별로 0001~9999까지의 번호를 랜덤 생성한 무선전화 번호를 이용했다고 한다. 즉 약 7000 만개의 번호가 전체 표본 번호 pool이다. 이 번호로 전화를 걸어서 조사에 답해 주기를 청한다. 그래서 질문의 끝까지 답을 해 주는 사람이 목표 표본 수, 보통은 1000명 내외가 될 때까지 반복한다.

그런데 여기에는 사용되지 않는 결번도 있고 통화중인 경우도 있고 벨은 울리는데 받지 않는 경우도 있다(근무시간에 전화를 받지 못하는 사람 등). 필자처럼 휴대폰 주소록에 저장되지 않은 번호는 받지 않게 설정해 둔 사람도 있다. 통화가 된다고 해서 답을 해 주는 것도 아니다. 여론조사란 말을 듣자마자 끊어 버리는 사람도 있고 처음엔 답을 해 주다가 조금 길어지니까 끊어버리는 사람도 있다. 또 친절하게 답을 하는데 경기도 50대 남자는 이미 충분한 숫자가 조사되어 중단해야 할 수도 있다. 이 모두는 최종 응답에 포함되지 않는다.

그래서 1000 명을 조사하는데 실제 사용하는 번호는 2만~5만개 정도 필요하다. 이 중 결번이나 접촉 실패가 거의 70% 이상을 차지한다. 조사 응답률이 15%라든지 30%라고 하는 숫자는 일단 접촉이 된 사람들 중 끝까지 응답해 준 사람의 비율이다. 보통 이 응답률 하나만 표시하지만, 사실 이 자체는 그렇게 중요한 숫자는 아니다. 목소리 상냥한 면접원이거나 질문수가 적고 쉬우면 응답율이 높아지고, 그렇지 않으면 중간에 끊어버리기 때문에 낮아진다. 오히려 타당한 대상자(2만~5만개 중 결번이나 18세 미만의 번호 등은 제외하고 타당한 유권자에 해당하는 번호) 중 몇 %가 응답을 했는지가 더 큰 의미가 있다. 이를 조사참여율이라 부르기로 하자. 보통 5%를 넘기기 힘들다.

전체 번호 개수 중 최종 완성까지 가는 비율도 조사 경험이 쌓이면 늘릴 수 있다. 무작위 번호 중 서너 번 해 봐도 안 받거나 거절한 번호 등은 사전에 DB를 구축해 두고 그 번호는 아예 빼는 방법으로 줄일 수 있다.

RDD방법은 시간이 많이 걸린다. 무작위로 생성한 번호 중에 결번 등을 걸러 내야 하기 때문인데, 그래도 결번은 별 문제가 아니다. 진짜 어려운 점은 지역/성/연령 할당에 있다. 제주도 18~29세 남자 한 명을 조사해야 하는데, 이 남자가 걸릴 때까지 꾸역꾸역 해 보는 수밖에 없다. 확률적으로 생각해보라. 우연히 해당 응답자가 걸렸는데 답을 해 준다는 보장도 없다. 무선번호 뿐만 아니라 유선 번호를 10~15% 추가하기도 하는데(다른 이유도 있겠지만) 지역 번호를 미리 알 수 있기 때문에 조사의 효율성이 높아진다.

가상번호 방식, 알뜰폰 이용자 빠져

그래서 나온 방법이 통신사에 가입한 사람들의 가상번호를 이용하는 방법이다. 앞의 표에서 보이듯 SKT, KT, LGU+ 등의 회사에서 가입자 번호를 일정 수만큼 받는다. 이 방법은 가입자에 관한 정보를 사전에 알고 있으므로 제주 20대 남자들만 골라 접촉을 시도할 수 있다. 당연히 결번은 없다. 또, 통신사가 제공하는 (가상)번호가 미리 동의를 얻은 가입자들이라면 응답률 자체도 더 높을 것이다. 그러나 이미 한 번 걸러진 표본이기 때문에 다른 방법과 응답률을 비교하는 것은 의미가 없다.

앞의 표에서 전국지표조사와 KSOI는 가상번호를 이용했다. 반면 갤럽과 리얼미터는 RDD를 사용했다. 조사 방법은 갤럽과 전국지표조사가 면접원이 하는 전화 면접, 리얼미터와 KSOI는 ARS 방법을 사용했다. 결과를 보면 ARS냐 전화면접이냐보다 표본 추출 목록을 만드는 방식에 따라 결과 차이가 뚜렷이 나타난다.

그런데 2021년 11월 20일 KBS 심야토론에서 패널 중 한 분이 현재 알뜰폰 가입 대수가 900만이 넘는다고 한다. 그래서 찾아보니, 조선일보 기사에 따르면 알뜰폰 가입자 수는 992만명으로 거의 1000 만명에 이른다. 그렇다면 거의 20% 가까운 유권자가 알뜰폰을 사용하고 있는 셈이다.

알뜰폰이 1000만대가 보급되어 있더라도 유권자 중 차지하는 비율이 높지 않을 가능성도 생각해 봐야 한다. 예컨대 선거권이 없는 미성년자들이 알뜰폰을 많이 사용한다든지, 알뜰폰은 두 번째 전화로 사용한다든지 하는 가능성이 있다. 두 번째는 사실이 아닐 듯하고 10세에서 19세 인구 전체가 500만명인데 이들의 20%가 알뜰폰을 쓴다고 해야 100만명이다.

즉 19세 미만의 비유권자들의 알뜰폰 가입율이 꽤 높다고 가정하더라도 알뜰폰 가입자 992만명 중 차지하는 비율은 그렇게 크지 않을 것으로 예상된다. 다시말해 알뜰폰 가입자의 상당수가 유권자이고 여론조사에 포함되어야 하는 사람들인데, 가상번호 방식에서는 이들은 원천 배제되어 있다.

알뜰폰이건 3대 통신사 번호건 RDD에서는 문제가 없다. 모두 무작위 번호를 생성하는 까닭에 어떤 번호건 표본추출목록에 포함된다. 그런데 가상번호 목록은 이 알뜰폰 번호들을 원천 배제한다. 통신3사에서 받은 번호만 이용하기 때문이다. 가상 이동통신망 사업자(MVNO)가 재판매서비스를 한 알뜰폰 사용자는 배제된 것이다.

어느쪽 지지자가 많이 배제됐을까

가상번호를 사용하는 이유가 앞에서 설명했듯 조사 편의를 위한 것이다. 그래서 응답률은 높아지지만 정확성이 더 높아지거나 할 이유는 없다. 오히려 알뜰폰 이용자가 20% 가까이 된다면 이들을 배제한 표본추출 목록을 설정하는 것은 심각한 문제가 된다고 본다. 20%의 인구를 원천 배제하고 표본추출한 결과를 이용하는 것은 대표성에서 심각한 문제를 야기할 수 있다. 설령 결과가 비슷하게 나오더라도 due diligence(선관주의 의무)를 갖췄다고 보기 어렵다. 다시말해 최근 이재명 지지율이 상대적으로 높게 나온 것이 가상번호 때문일 가능성을 배제할 수 없다.

전화면접이라든지, ARS라든지 하는 자료 수집 방법의 차이보다 전국민이 동일한 표본 추출 확률을 가진 방법인지에 더 주목해야 한다. 조사회사 입장에서는 제주 20대 남자 한 명 찾기가 어렵겠지만, 그렇다고 문제의 소지가 있는 방법을 쉽다고 사용하는 것은 지양해야 할 것이다.