[점선면] [Lite] 📈 여론조사엔 '여론'이 없다

점선면

[Lite] 📈 여론조사엔 '여론'이 없다

7분 2023.06.27

여론조사 실태와 한계 언론 민심

📊

5% 응답자가 '평균적 시민'?

구독하기 점선면이란?

경향신문 뉴스레터

2023.06.27. 화요일

안녕하세요. 이번 주 큐레이터 김지혜 기자입니다. 나를 넘어 우리를 생각하는 기사에 관심이 많아요.

달갑지 않은 전화들이 있죠. 업무로 한창 바쁜 시간, 회포를 푸는 반가운 자리, 겨우 생긴 혼자만의 여유…. 방해받고 싶지 않은 순간, 불현듯 걸려 오는 '모르는 번호'의 전화들이 그렇습니다.

깜짝 놀라 받은 전화, 정작 들려오는 건 "여론조사 중"이라는 차가운 ARS 기계음일 땐 별수 없이 기분이 상합니다. 설문 문항을 채 듣기도 전에 신경질을 내며 황급히 통화를 종료했던 경험, 독자님께서도 한 번쯤 있지 않으신가요?

저 역시 끊어버린 여론조사 전화가 수두룩합니다. 하지만 고백하자면, 그렇게 시행된 여론조사 결과가 갖는 정확성과 신뢰성 문제에 관해서는 크게 의심해보지 않았습니다.

당장 저부터가 통화 종료와 함께 '사라진 표본'이 돼버린 경험이 적지 않은데도, 지나치게 낮은 응답률이 여론조사의 정확성을 해치는 중요한 요인이 된다는 문제의식은 갖지 못했던 것입니다.

저의 안일한 생각에 경종을 울리는 기사 한 편을 보게 됐어요. 정당 후보 공천부터 정부 정책까지 한국 사회의 중요한 결정들을 좌지우지하는 여론조사들이 실은 얼마나 비과학적이고 부정확하게 이루어지고 있는지 분석한 책 <한국의 여론조사, 실태와 한계 그리고 미래>에 관한 김종목 기자의 서평입니다.

독자님과 함께 읽고 싶어요. 기사는 약 7분 분량입니다.

☑️ 현행 여론조사는 비과학적이고 부정확한 측면이 적지 않은데도 한국 사회에서 지나치게 큰 영향력을 갖는다는 비판이 나온다.

☑️ 국내 여론조사 응답 협조율은 매우 낮은 편이다. 어렵게 구한 설문 협조자의 경우 집단 평균에서 벗어나는 편향적 표본일 확률이 크다.

☑️ 정당 지지율을 파악하는 설문에서 ‘지지 정당 없음’을 마지막 선택지로 제시하는 조사 방법 등은 정당 지지층의 규모를 실제보다 과장하는 결과를 불러온다.

☑️ 대통령 직무 평가와 정당 지지도 여론조사가 부실하게 수행되면, 조사가 여론의 비판 기능을 취약하게 만듦으로써 민주주의의 질을 떨어뜨린다.

부정확한데 영향력은 크다? 지지도 부풀리는 여론조사

2023.06.25. 김종목 기자

책 <한국의 여론 조사, 실태와 한계 그리고 미래> 표지 이미지 편집. 푸른길 제공

후보 지지도든 정당 지지도 결과는 여론조사 기관마다 들쑥날쑥하다. ‘정당/국회’ 신뢰도는 낮은데 10명 중 6~7명꼴로 특정 정당을 지지한다고 결과가 나온다. 지지도는 ARS와 전화 면접 결과에 따라 다르고, 기관마다 다르다. 더불어민주당 지지도만 보면, ‘꽃’의 6월 3주 차 ARS 조사 결과는 51.1%, 2주 차 리얼리터 ARS 결과는 44.2%다. 3주 차 한국갤럽의 전화 면접 조사 결과는 34%다. 비슷한 시기 한 정당 지지도 간극이 17%가 나는 것이다. 언론은 이 결과를 그저 옮긴다.

여론조사 만능론이 퍼졌다. 정당 후보 공천부터 정부 정책까지 여론조사 결과에 영향받는다. 여론조사 기관 대표들이 특정 정당이나 대선 후보 캠프를 오가도 별문제도 되지 않는다.

여러 문제에도 “여론조사 결과가 곧 여론”인 현실은 굳어진다. 기관 수도 5년 새 약 3.4배가 증가했다. 선거관리위원회 산하 여론조사심의위원회(여심위) 2022년 10월 기준 92개의 조사 회사가 등록했다. 여론조사 등록제가 시행된 2017년 5월엔 27개였다.

<한국의 여론조사, 실태와 한계 그리고 미래>(이갑윤 서강대 명예교수·이현우 교수·이지호 현대정치연구소 연구교수, 푸른길)는 현행 여론조사의 비과학성, 과도한 영향력, 부정확성 등을 비판적으로 점검한다. 언론에 가장 많이 보도되는 한국갤럽과 리얼미터 두 기관의 결과를 주로 분석한다.

5%의 응답자는 '평균적 시민'일까?

저자들은 “과학적 여론조사의 특성인 표본추출과 설문 구성의 타당성”을 제대로 지키는지 살핀다. 우선 분석하는 건 여론조사에 협조하는 표본이 모집단을 제대로 대표하는지다. 즉 ‘응답 협조율’ 문제다.

저자들은 여론조사 응답 협조율의 마지노선을 20~30%대로 본다. 한국 ARS 조사 방식은 응답 협조율이 5% 안팎, 면접원 전화 방식은 10%대다. 5%로 가정하면 100명 중 95명이 답변을 거부한 것이다. 응답에 협조한 5명이 답변 거부자 95명의 평균과 유사한 정치적 정향을 가졌다고 보기는 어렵다고 저자들은 지적한다.

2022년 6월 25일 한국사회여론연구소(KSOI)의 조사 내용을 보면 응답률이 6.3%다. 1만5789명에게 접촉했다. 1만4788명이 거부했고 1001명 응답한 것이다. 이 수치를 두고 저자들은 “설문에 협조한 사람들은 평균적 시민들과는 달리 정치에 관심이 많은 정치 고관여 층이거나 특정 정치이념이 투철한 사람들이 아닐까 추측하게 된다”고 했다.

“응답률이 낮아지는 것의 문제는 정확히 말하면 표본 구성에 편향성이 생길 가능성이 커진다”는 것이다. 현행 여론조사 기관들은 할당표집 방식으로 표본을 구성한다. 전체 인구의 성별·나이·지역별 분포에 따라 표본 구성 분포를 맞추는 것이다. 서울 거주 20대 남성이 전체 인구 중 3.5%라면, 1000명의 응답 표본 중 35명이 할당된다. 즉 20대 남성 35명을 조사에 포함한다.

여론조사 기관은 낮은 응답률 때문에 할당을 채우지 못하면 가중값을 사용해 보정한다. “가중값이 커진다는 것은 해당 집단에 속하는 협조자를 찾기 어렵기 때문에 발생하는 것이며, 어렵게 구한 협조자들은 그 집단 평균과 큰 차이를 보일 가능성이 크다.” 이때 과대 대표되는 문제가 생긴다.

2021년 12월 4주 차 리얼미터 표본추출 분포표를 보면, 여성 응답자 빈도수는 1120명이다. 기준 빈도 1553명보다 적다. ‘경남권에 사는 20대 여성’ 가중값은 어떻게 될까? 성별 가중값은 1.39, 나이별 가중값은 1.4, 지역별 가중값 1.17이다. 저자들은 이 세 가중값을 곱해야 한다고 본다. 그 값은 2.28이다. 즉 “한 명의 응답자가 2.3명이 응답한 것으로 간주하게 된다”고 저자들은 지적한다.

저자들은 “현재 수행되는 대다수 조사가 표본의 대표성과 응답 측정의 적합성이라는 여론조사의 필수기준을 충족시키지 못하지 못하고 있음에도 현행 여론조사가 여론을 정확하게 반영한 것이라 여기는 조사 시장과 언론의 태도는 반드시 재고되어야 한다”고 했다.

'무당층'이 이렇게 적을 리가 없는데?

책은 설문 문항의 타당성도 따진다. ‘지지 정당이 없다’는 무당층은 2023년 1월 2주 차 리얼미터 조사에서 10.9%, 갤럽 조사에서 25%로 나왔다. 1년 전 같은 기간 조사에서는 각각 11.8%, 19%였다. ‘지지 정당이 있다’는 사람이 80% 안팎인 셈이다. ‘정당/국회’ 신뢰도가 23.8%(한국보건사회연구원의 2019년 연구보고서)라는 점을 비교하면 현실을 반영하지 못한 수치로 볼 수 있다.

두 기관을 포함해 대부분의 한국 여론조사 기관들은 정당 이름을 열거하고, 마지막에 ‘지지정당 없음’을 선택지로 읽어주는 방식을 택한다. 논리적으로 ‘지지정당 없음’의 대응 선택지는 ‘지지정당 있음’이다. 저자들은 “지지정당이 있다는 응답자들에게만 그 정당이 어디인지를 추가로 묻는 순서로 설문들이 구성되어야 올바른 것”이라고 했다.

기관들은 ‘지지 정당 없음’ 응답자에게 어느 정당을 더 가깝게 느끼는지, 호감을 느끼는지도 다시 묻는다. ‘지지’보다 범위가 넓은 ‘호감’도 수치에 반영하는 것이다. 리얼미터의 경우 ‘지지 정당 유무’, ‘지지하는 정당’ ‘호감 가는 정당’이라는 세 가지 서로 다른 차원의 질문을 하나의 설문에 포함하다. 저자들은 “하나의 설문은 한 개의 질문만으로 구성되어야 한다는 조사 방법론의 원칙에 어긋난 것”이라고 말한다.

한국 여론조사 기관의 조사 방법은 정당 지지층 규모를 실제보다 과장하는 결과를 불러온다. 현대정치연구소는 2021년 9월 4주 차 조사 때 지지정당 유무를 물었다. ‘지지 정당 없음’이라는 답한 무당층은 60.5%였다. 국가 승인 통계 결과물을 생산하는 한국행정연구원의 조사 결과와 비슷하다. 이 연구원의 2020년, 2021년 조사에선 ‘지지 정당이 있다’고 답한 응답자는 각각 41.5%, 39.6%다. 절반이 넘는 응답자들이 무당파로 분류됐다.

현대정치연구소 조사 때 무당층 60.5%를 포함해 백분율로 계산하면 정당 지지도는 민주당 16.1%, 국민의힘 17.1%, 정의당 2.7%였다. 같은 기간 갤럽은 민주당 33%, 국민의힘 31%, 정의당 3%였다.

저자들은 ‘순수 무당층’이나 ‘당파적 유권자’의 실제 규모를 확인하는 게 중요하다고 말한다. “정당이 자신들을 실제로 지지하는 유권자의 수가 적다는 것을 인지한다면 안정적인 지지층을 확보하려고 노력할 것이고, 집권당이라고 해서 혹은 국회에서 다수 의석을 가졌다고 해서 독단적인 행태를 보이지도 못할 것이다.”

부실한 여론조사는 민주주의의 질을 떨어뜨린다

저자들은 현행 대통령 지지도 조사 방식 문제도 지적한다. 현행 조사 방식은 전체적으로 ‘잘함’과 ‘잘못함’의 응답 수치를 높이는 쪽으로 설계됐다. 리얼미터 경우 ‘매우 잘하고 있다’ ‘잘하는 편이다‘ ’잘못하는 편이다‘ ’매우 잘못하고 있다‘는 4단 척도를 사용한다. 긍·부정의 강한 태도와 온건한 태도를 포함한다. 저자들은 ’~하는 편이다‘라는 상대적 표현은 “유보적 태도를 줄이고, 전체적으로 ‘잘함’과 ‘잘못함’의 응답 수치를 높이는 효과를 가져온다”고 말한다.

긍정과 부정 항목 사이에 ‘보통’이라는 항목도 없다. 보통이 들어가면 긍정과 부정 평가는 ‘보통’ 항목이 없는 척도를 사용할 때보다 훨씬 많이 줄어들게 된다. 저자들은 “중간 항목의 배제는 긍정과 부정 평가의 수치를 늘리는 결과를 가져온다”고 말한다.

대통령 지지도와 정당 지지도가 실제 민심보다 과대 평가되는 게 문제라고 저자들은 지적한다. 이들은 “대통령 직무 평가와 정당 지지도 조사가 부실하게 수행되면, 조사가 여론의 비판 기능을 취약하게 만듦으로써 궁극에는 민주주의의 질을 떨어뜨리게 된다”고 했다.

책은 여론조사 여러 원칙도 짚는다. 문항 사용의 경우, ‘복지’라는 표현과 ‘가난한 사람들을 지원’이라는 용어에 따라 응답자들의 긍정 태도 비율이 달라진다. “객관적인 의미를 가진 ‘복지 확대’보다는 정서적인 표현인 ‘가난한 사람들을 지원한다’라는 표현에 사람들은 더 긍정적 태도를 보이는 경향이 있다.”

이들은 “설문 내용이 명확하고 구체적이어야 하며 동시에 응답자들이 선택할 수 있는 선택지들이 모두 포함되어야 한다. 하나의 설문 문항에는 한 개의 질문만 포함해야 한다. 부정적 표현을 사용하여 생기는 오해를 가급적이면 피하는 것이 바람직하다.”

연일 조사 결과를 쏟아내는 언론 보도 행태도 비판한다. 영국 BBC는 여론조사(특히 투표 의향 조사 결과)를 보도할 때 그 결과를 리드로 뽑거나 헤드라인을 달아서는 안 된다고 규정한다.

책은 퓨 리서치의 웹 조사 등 응답 협조율을 높이려는 해외 사례, 정치적 올바름 편항의 응답 문제 등도 분석한다. 📝

🔎 경향신문 홈페이지에서 기사 전문을 읽으시려면 여기를 클릭하세요!

"미국의 주요 언론은 선거 때가 아니면 여론 조사를 기획하거나 보도하는 일이 흔치 않다. 일본에서도 언론이 간간이 여론 조사를 보도하지만, 한국처럼 조사 수치만을 그대로 보도하는 기사는 별로 없다. 그리고 영국의 공영방송 BBC는 여론 조사 결과를 헤드라인으로 뽑는 것을 금지하고 있다."

<한국의 여론조사, 실태와 한계 그리고 미래>의 저자들은 '책을 내면서'를 통해 이렇게 씁니다. 선거 때든 아니든 대통령 직무평가나 정당 지지도와 관련한 여론조사 보도를 매일같이 쏟아내는 국내 언론계의 행태와 여러모로 비교되는 대목이죠. 한국이 지금과 같은 '여론조사 공화국'이 된 데에는 언론의 책임이 큽니다.

기자로서 참으로 뼈아픈 책입니다. 동시에 시민으로서 화나는 내용이기도 해요. 한 사람의 시민이 갖는 의견과 목소리가 '여론', 더 나아가 이 사회의 '의사 결정'에서 얼마나 쉽게 배제될 수 있는지 요목조목 설명되어 있기 때문이에요.

기사에 나와 있듯 한국은 '정당/국회’에 대한 신뢰도가 23.8%에 불과한 나라입니다. 정치인들이 제 몫을 해내지 못하고 있기 때문입니다. 하지만 갤럽 혹은 리얼미터의 여론조사 결과만 보면, 대다수 국민은 여당 혹은 야당의 열혈 지지자처럼 보여요. 실제로는 어떤 정당도 지지하지 않는 '무당층'이거나, 정치 관련 여론조사에 응할 의향조차 없는 '무관심층'인 경우가 훨씬 많은데 말입니다.

더 큰 문제는 국민 대다수를 이루는 '무당층'과 '무관심층'의 목소리가 배제된 채로 조사된 '여론'이 지나치게 큰 영향력을 갖는다는 겁니다. 선거 공천처럼 중요한 의사 결정에 (비과학적이고 부정확한) '여론조사 결과'가 점점 더 적극적으로 반영되는 추세이기 때문입니다.

현행 여론조사가 포착하지 못한 '여론' 바깥의 목소리에 귀를 기울이는 노력이 시급한 때입니다. 여론 너머로 흩어진 의견들이야말로 위정자들이 적극적으로 수용하고 참고해야 할 '진짜 민심'일 테니 말입니다.

진짜 민심을 제대로 포착하고 드러내려면, 무엇보다 언론이 제 역할을 해야 합니다. 기자로서의 역할과 책무를 새삼 다짐하게 만든 서평이었습니다. 책도 한번 찬찬히 읽어보아야겠어요.

러 반란, 전쟁에 미칠 영향은

지난 주말, 러시아 민간군사기업 바그너 그룹의 반란을 주의 깊게 지켜본 독자님들이 많이 계실 것 같습니다. 무엇보다 이 반란이 우크라이나 전쟁에 미칠 영향이 궁금하실 텐데요. 24시간 만에 끝났지만, 크렘린 권력의 '균열'을 드러낸 이번 반란이 어떤 방향으로든 변화를 만들어낼 것이라는 전망이 나와요.

매듭은 풀어야 한다

홍진수 정책사회부장은 윤석열 대통령의 요즘 행보에서 '고르디우스의 매듭' 이야기를 떠올립니다. 수능에서 '킬러' 문항을 제거해 사교육을 잡겠다는 발상, KBS 수신료 분리징수 밀어붙이기 등이 매듭을 풀지 않고 잘라버린 고대 그리스 마케도니아의 왕 알렉산드로스의 결단과 닮아있다는 건데요. 무슨 뜻일까요?