널뛰기 여론조사, 실체는 뭘까?

최근 한 일간지에서 “진짜 민심 맞습니까… 가짜뉴스 같은 여론조사”란 제목으로 서로 다른 여론조사 결과들이 너무 많아서 뭘 믿어야 할지 모르겠다는 불평을 하는 기사가 있었다.

이 기사 내용은 이랬다. 비슷한 시기에 여론조사를 했는데도 지지율이 20%포인트 이상 차이가 나 심한 널뛰기를 보였다는 것이다. 특정 방향으로 응답을 유도하는 듯한 일부 회사의 조사 방식이 오히려 신뢰성을 떨어뜨리는 데 한몫하고 있다고 했다. 예를 들어 5월 1일부터 5월 10일까지 언론에 발표된 여론조사 27건 중 국민리서치그룹·에이스리서치가 뉴시스 의뢰로 실시해 10일 발표한 여론조사는 윤석열 대통령의 국정 수행 지지율이 42.1%로 나온 반면 미디어리얼리서치코리아가 4일 발표한 조사에선 윤 대통령 지지율이 18.7%였다. 두 조사의 차이가 23.4%포인트에 달했다는 내용이다.

여론조사만 널뛰나, AI도 마찬가지

또 다른 기사에서는 구글이 챗GPT에 대응하여 ‘바드’라는 AI 챗봇을 공개했는데, 독도 문제에 관해 질문을 했더니 일본어 질문에는 ‘다케시마가 일본 영토’라고, 그리고 한국어로 질문을 했더니 ‘독도는 한국 영토’라는 답을 했다고 한다.

바드의 응답을 들여다보다 꽤 재미있는 생각을 하게 됐다. AI는 독자적으로 판단을 할 수는 없을 것이고, 한국어와 일본어로 된 문헌들을 각각 학습한 결과에 따라 한국어와 일본어 질문에 대해 답을 했을 터이니 두 가지 명제가 실질적으로는 모순된다는 판단을 하지 못하는 것일 거다. 즉 진실 또는 진리를 알 수도 없고 알려고 하지도 않는다. 그게 아니면 내가 생각하는 것보다 정말로 훨씬 뛰어나서 AI도 인기가 어떤 것인지 벌써 알아버렸거나, 전원이 뽑히는 수모를 당하지 않으려면 물어보는 사람들이 원하는 답을 내놔야 한다는 것까지 알아버렸을 수도 있다. AI가 속으로 어떤 생각을 하는지, 아니 생각이란 게 있는지 알 길이 없다.

모순되는 조사결과가 나오는 이유

그런데 위의 기사 제목대로라면 여론조사도 비슷해 보인다. 기계적으로 정해진 대로 표본을 찾아서 전화나 ARS로 답을 받아서 나온 결과들을 내놓고 있는데, 같은 대상에 대해 서로 모순된다고 할 수 밖에 없는 결과들을 내놓고 있다. 의도적으로 질문 문구를 편향적으로 만들어서 결과를 왜곡하는 건 물론 가능하다.

위의 기사에서는 ‘1월 무역 적자가 사상 최고치를 기록하고 경제성장률이 IMF 이후 최초로 일본에 역전당했다. 현 정부의 경제 능력을 어떻게 평가하는가’란 질문과 ‘민주당이 추진하는 대일본 굴욕 외교 국정조사 필요성에 대해 어떻게 생각하는가’란 질문을 실제 사용된 편향적인 질문의 예로 들고 있다.

그런데 이런 편향적인 표현을 사용하지 않고 중립적 표현을 사용하더라도 조사회사의 정치적 편향에 따라 결과가 다르게 나온다는 사실은 조사업계 내에서는 웬만큼 알려져 있다. 즉 조사회사의 소유주나 직원들의 성향에 따라 결과가 조금씩 다르게 나오는데, 필자가 알기로는 굳이 조작할 생각이 없는데도 그런 편향된 결과들이 나오게 된다.

AI야 스스로 진위 여부를 판단하거나 역사적 자료들을 모두 뒤져 진실을 찾아낼 능력이 없고(물론 나중에는 그런 능력까지 생길 수도 있지만) 자기가 교육받은 대로, 즉 입력된 문헌의 내용에 기반하여 말을 하니 그렇다 치지만, 여론조사는 자연적인 현상일 리가 없다. 뭔가 미세한 운영상의 차이가 편향된 결과를 내는 것이다. 이유로 추정하고 있는 것이 몇 가지 있지만, 증명되지 않은 것이라 말하기는 어렵다.

동일한 조사결과가 나와야하는 것일까

그런데 다른 한편으로, 같은 시점의 여론조사 결과들이 서로 다르게 나오는 것이 뭔가 문제가 있다고 생각하는 것 자체는 “현 시점의 여론”이라는 어떤 객관적인 실체가 존재한다는 것을 가정하고 있는 것이다. 현정권 지지, 정당 지지 등이 개인에게 분명히 정의할 수 있는 어떤 태도나 입장이라고 가정하는 것인데, 사실 이 자체가 애매하다.

사람은 남자 아니면 여자일까? 외견상으로는 남자 아니면 여자이다. 그러나 사람의 성격이나 행동 성향은, 남성성에서 여성성까지의 정도의 차이가 있을 뿐 명확히 구분되지 않는다는 것은 이미 오래전부터 알려져 온 사실이다. 최근에는 설문조사에서도 성별을 묻는 질문에서 남자, 여자의 선택 뿐만 아니라 “어느 쪽도 아니다”라는 선택지를 포함시키는 경우도 있을 정도다.

외형적 남녀의 구분보다 본인 스스로 생각했을 때 어느 쪽이라고 생각하는 지를 파악하는 것이 이후의 행동이나 의견을 예상하는데 더 도움이 될 수도 있기 때문이다. 하물며 정당이나 정책 지지 등은 더 말할 것도 없다. 우선 지지라는 표현 자체가, 아주 강력하게 ‘이 정당이 되어야 한다!’는 입장에서 ‘이 쪽이 조금 더 낫지 않나?’라는 것도 있고, 다른 쪽이 싫어서 어쩔 수 없이 선택하는 것도 있다.

진실 또는 진리는 하나 뿐일까

우리 사회는 하나의 진실 또는 진리만이 있고 나머지는 모두 틀렸다는 생각을 너무 하는 것이 아닐까. 지지라는 개념 자체가 명확히 정의되어 있지도 않다. 중요한 점은 연구하는 사람이 아니라 질문을 받는 사람 개개인이 모두 다른 의미로 받아들일 수 있다는 것이다. 어떤 사람은 내가 아주 적극적으로 미는 것은 아니니 지지한다고 말할 수 없다고 생각하는 반면, 또 다른 사람은 반대하는 건 아니니 지지한다고 말할 수도 있다. 그래서 조사결과의 명확한 기술은, ‘이렇게 물어보았더니 이렇게 몇 사람이 답했다’까지이다. 그 이후는 해석의 영역이다.

그럼 어떤 것이 옳을까? 모른다. 여론조사 기관마다 다를 수 있다. 마치 AI에게 일본어로 묻느냐 한국어로 묻느냐에 따라 답이 달라지는 것처럼. 그리고 그 조사 결과를 사용할 사람이 어떻게 해석하고 어떻게 활용하느냐의 문제다. 대신, 아예 질문 문구 등까지 정해두고 더 나은 방법이 발견될 때까지는 이 문구로 사용한 결과만을 서로 비교하고, 나머지는 조사 기관이 자유롭게 사용하도록 하는 방법 등을 생각해볼 필요가 있다. AI에게 절대적 진리는 없다. 여론조사도 절대적 진리는 없다. 다만, 여태까지 인간의 노력으로 찾아낸 최선을 다하려 할 뿐이다.