[점선면] [Deep] 💻 SNS, 누가 책임 질래?

점선면

[Deep] 💻 SNS, 누가 책임 질래?

10분 2024.02.20

SNS 페이스북 인스타그램 딥페이크 성착취물

2024. 2. 20.

독자님은 자기 전에 뭘 하시나요? 전 얼마 전까지 잠들기 직전 유튜브 쇼츠, 인스타그램 릴스를 봤어요. 숏폼 콘텐츠가 처음 등장했을 때만 해도 '뭐 이런 걸 보나' 싶었는데 순식간에 중독돼 버렸습니다. 매일 어둠 속에서 눈이 뻑뻑해질 때까지 '무한 스크롤'을 내렸어요.

이용자가 시청 기록 기능을 끄면 유튜브가 영상을 추천하지 않는다는 걸 최근 알게 됐어요. 기록을 삭제했더니 초기 화면에 검색창만 덩그러니 떴습니다. 검색해서 쇼츠를 보더라도 그 다음 쇼츠를 연결해 주지 않고요. 그 뒤로 신기할 정도로 유튜브를 안 보게 됐습니다. 쇼츠는 아래로 아래로 스크롤하며 보는 맛인데 일일이 검색하는 게 여간 귀찮은 일이 아니더라고요.

저를 밤마다 잠 못 들게 하며 수많은 고양이를 만나게 하고 맛있는 식당을 알려준 이 알고리즘이 누군가를 치명적인 위험에 빠뜨렸습니다. 숏폼에서 본 챌린지를 따라 하다 죽음에 이르렀고, SNS를 통해 만난 이에게 학대나 사기를 당하기도 했습니다.

국제적으로 SNS는 유해 콘텐츠로부터 사람들, 특히 청소년을 보호하는 노력을 충분히 하지 않는다는 비판을 듣고 있습니다. 오늘 점선면은 유해 콘텐츠와 SNS 규제에 대해 알아봤습니다. 영화 <소셜 딜레마>, 책 <시스템 에러>를 참고했어요.

오경민 기자

지난 1월31일 페이스북·인스타그램의 모회사 메타(META)의 CEO 마크 저커버그는 SNS에서 유해 콘텐츠에 노출된 아동의 가족들에게 사과했다. 로이터연합뉴스

고개 숙인 빅테크

지난 1월31일, 미국 연방상원은 '빅테크와 온라인 아동 성착취 위기' 청문회를 열었습니다. 메타, 스냅챗, 틱톡, X(옛 트위터), 디스코드 등 SNS 플랫폼 CEO들이 출석했어요.
공화당·민주당을 가리지 않고 빅테크* CEO들을 강하게 질타했습니다. "당신들이 안전보다 이익을 더 추구한 결과 아이들이 위험에 빠졌다"(딕 더빈 민주당 의원) "여러분은 사람을 죽이는 제품을 만들고 있다"(린저 그레이엄 공화당 의원)고요.
미성년자들이 SNS에서 유해한 콘텐츠에 중독되는 일, SNS를 매개로 학대 및 사기를 당해 목숨까지 잃는 일이 반복되자, 미국과 유럽에서는 빅테크를 규제해야 한다는 목소리도 높아졌어요. 테일러 스위프트의 딥페이크 성착취물이 X를 통해 유포된 일도 여론에 불을 붙였습니다.
메타 CEO 마크 저커버그는 이날 자리한 피해 가족들을 향해 "여러분이 겪은 모든 일들에 대해 죄송하다" "누구도 여러분의 가족이 겪었던 일들을 겪어선 안 되며 그것이 우리가 많은 투자를 하는 이유"라며 사과의 뜻을 밝혔습니다.

*빅테크(Big Tech)

거대 IT 기업을 뜻하는 말입니다. 구글, 아마존, 메타, 애플이 대표적입니다.

🔷 메타 CEO 마크 저커버그는 미 상원의원 청문회에서 SNS에서 피해를 당한 아동들의 가족에게 사과했습니다.

1. SNS에서 무슨 일이 있었나

조앤 보가드는 이날 청문회 방청석에 아들 사진을 들고 앉아 있었습니다. 아들 메이슨은 SNS에서 유행하던 '블랙아웃 챌린지'를 하다 4년 전 목숨을 잃었습니다. 기절할 때까지 목을 조르는 챌린지였어요. 이 챌린지로 20명이 넘는 어린이가 사망했습니다. 아동들이 SNS 통해 따돌림을 당하거나, 마약을 사거나, 성착취를 당해 목숨까지 잃는 일이 되풀이됩니다.

'빅테크와 온라인 아동 성착취 위기' 청문회에 가족의 사진을 들고 참석한 사람들. AFP연합뉴스

미국에서는 SNS가 해로운 콘텐츠나 악의적인 사용자들로부터 아동을 보호하지 못하고 있다는 우려가 커졌습니다.

미국의 비영리단체 실종학대아동방지센터(NCMEC)는 온라인 플랫폼의 아동 성학대물 신고가 지난해 사상 최고인 3600만여건을 기록했다고 밝혔습니다. 미국 국립성착취예방센터(NCOSE)는 매년 성착취 자료를 홍보하는 기업과 단체의 명단인 '더 더티 더즌(The Dirty Dozen)'을 공개하는데 빅테크는 단골이고, 트위터는 거의 매년 이름을 올립니다.

미국 뉴멕시코주 법무부는 페이스북과 인스타그램이 미성년 이용자를 성착취 콘텐츠로부터 보호하지 않고 있다며 지난해 12월 메타에 소송을 제기하기도 했어요. 14세 이하 가짜 계정을 만들어 봤더니 관심을 보이지 않았는데도 성착취 콘텐츠가 다수 보였다고 합니다. 주 법무부는 페이스북과 인스타그램에 유명 포르노 사이트 폰허브(Pornhub)보다 10배 많은 아동 성착취 콘텐츠가 유통되고 있으며, SNS가 성인이 아동에게 접근해 성착취하는 통로가 됐다고 지적했습니다.

언스플래쉬(Steve Johnson)

진짜와 가짜를 구별하기 어려운 딥페이크 기술까지 발전하면서 SNS에 대한 경각심은 더 높아졌어요. 스페인에서는 AI 딥페이크 기술로 나체에 합성한 청소년 20여명의 이미지가 집단 유포됐습니다. 팝스타 테일러 스위프트도 딥페이크로 합성한 성착취물이 X에 유포되는 일을 겪었고요. 스위프트의 사진이 4500만회 이상 조회되고 2만4000번 이상 공유되는 동안 X는 아무런 조처를 하지 않아 이미지 확산을 방치했다는 비난을 받았습니다.

2. 규제 돌입한 유럽과 미국

미 연방의회는 빅테크 규제에 나섰습니다. '아동 성착취물 방지법(Stop CSAM Act)'과 '온라인아동안전법(Kids Online Safety Act·KOSA)'를 발의했어요.

아동 성착취물 방지법은 아동 성착취물 피해자를 보호하고 지원합니다. 이 법에 따르면 성착취물 피해자는 SNS 기업을 상대로 손해배상을 청구할 수 있습니다. SNS는 피해자가 요청하면 성착취물을 빠르게 삭제해야 하며, 삭제하지 않을 경우 처벌받을 수 있어요. 아동 이용자의 안전을 위해 노력하고 있다는 내용이 담긴 보고서도 해마다 정부에 내야 하고요.

온라인아동안전법은 플랫폼이 자살, 섭식 장애, 약물 남용, 성착취 등 위험으로부터 청소년을 보호해야 한다고 명시합니다. 만약 자녀가 유해한 콘텐츠를 접하는 걸 감지하면 보호자나 교육자에게 보고해야 해요.

미 상원은 두 법을 아직 본회의에도 부치지 못했습니다. 빅테크 업계의 로비와 정부의 SNS 검열을 우려하는 시민단체 반발이 배경으로 해석됩니다.

언스플래쉬(dole777)

지금 SNS 기업들은 플랫폼에 올라오는 콘텐츠에 대해 면책을 받고 있습니다. 통신품위법(Communications Decency Act) 230조가 핵심 조항이에요.

이 법은 플랫폼이 게시물을 올린 발언자(speaker)나 그 게시물을 골라서 발행한 발행자(publisher)와 같은 책임을 지지 않는다고 말합니다. 플랫폼은 단순한 매개자라는 건데요, 이 규정 덕분에 SNS는 이용자들이 올리는 유해 콘텐츠를 법적으로 책임질 필요가 없었습니다. 통신품위법 230조는 빅테크 성장의 밑거름으로 여겨집니다. 동시에 SNS가 해로운 콘텐츠와 가짜 뉴스를 방치할 수 있게 면죄부를 줬다는 평가도 받습니다.

지난해에도 미국 대법원은 통신품위법 230조를 언급하며 빅테크에 유리한 판결을 내렸습니다. 2015년 발생한 파리 테러 피해자 노에미 곤살레스의 유족은 유튜브가 IS 대원 모집을 방조했다며 구글을 상대로 소송을 제기했습니다. 2017년 튀르키예 이스탄불에서 벌어진 총기 난사 피해자들도 트위터가 테러 집단의 콘텐츠를 통제하지 못했다며 트위터를 고소했고요. 대법원은 구글과 트위터의 손을 들어줬습니다.

유럽연합은 SNS에 더 빠르고 강력하게 대응했어요. 빅테크의 시장 지배력을 억제하는 디지털시장법(DMA)에 이어 사용자를 보호하기 위한 디지털서비스법(DSA)도 만들었죠. DSA는 EU 내 월 이용자 4500만명 이상인 '초대형 온라인 플랫폼'에게 불법 콘텐츠 단속에 대한 강력한 책임을 부여합니다. 이를 따르지 않을 경우 글로벌 연간 매출의 최대 6%에 달하는 과징금을 부과하고요. 계속 법을 어기면 EU 내에서 사업을 금지당할 수도 있어요. 대부분 미국 기업인 빅테크를 견제하려고 EU가 더 적극적으로 제재했다는 해석도 있습니다.

지난해 말, 일론 머스크가 이 법의 첫 조사 대상이 됐어요. 지난해 10월, 이스라엘·하마스 전쟁과 관련해 X에서 혐오표현과 허위정보가 급속도로 확산하자 EU는 소유주인 머스크에게 대응을 촉구했는데요, 그로부터 약 두 달 만에 X가 허위 콘텐츠를 신속하게 처리했는지 검토하기 위한 조사를 개시한다고 밝혔습니다.

3. 방치하고 가담하는 한국 플랫폼

언스플래쉬(George Pagan)

독자님, '우울증 갤러리' 사건 기억하시나요? 지난해 서울 강남구에서 한 중학생이 SNS 라이브 방송을 켠 채 스스로 목숨을 끊었어요. 사건 직후 여성이 죽은 배경에 디시인사이드 우울증 갤러리가 있다는 이야기가 나왔습니다. 이 갤러리에서 우울증을 호소하는 10대 여성에게 성인 남성이 의도적으로 접근해 성착취하는 '그루밍 성범죄'가 빈번하다는 증언이 쏟아졌습니다. 사이트가 범죄 플랫폼 역할을 한 겁니다.

경찰은 고인에 대한 악성 게시물 유포로 인한 2차 가해를 우려해 사이트 폐쇄를 요청했지만 디시인사이드는 거부했습니다. 디시인사이드 관계자는 "갤러리는 회사 개인 소유물이 아닌 이용자들의 저작물이 올라오는 곳이다. 해당 갤러리를 폐쇄한다고 거기에 글 쓰던 사람들이 없어지는 곳도 아니고, 다른 곳으로 이동해서 글을 남기면 더 문제가 생길 소지가 있다"고 했습니다. 이어 방송통신심의위원회는 접속을 차단할 만한 상황이 아니라며 사이트를 차단하지 않았고요.

4년 전 'n번방 사건'이 세상에 밝혀진 이후 n번방 방지법(전기통신사업법 개정안 등)이 통과됐지만 디지털성범죄는 여전히 활개를 치고 있어요. n번방 방지법은 사업자가 불법 촬영물 등 성범죄 정보로 의심되는 게시물을 삭제하거나 게재를 제한하도록 의무화했습니다. 공개된 디지털 공간을 대상으로 해 텔레그램이나 디스코드 같은 메신저는 '사적 대화방'으로 분류돼 적용 대상에 포함되지 않아요. 카카오톡의 경우도 그룹 오픈 채팅방에만 적용되고요.

그러나 디지털성범죄 다수가 사적 대화방에서 시작됩니다. 2020년 여성가족부가 펴낸 '아동·청소년 대상 성범죄 발생 추세와 동향 분석'에 따르면 다른 성범죄에서는 '가족·친척을 포함한 아는 사람'이 가해자인 경우가 가장 많았던 것과 달리 성매수와 성착취물 제작에서는 '인터넷으로 알게 된 사람'의 비율이 각각 86.5%, 71.3%로 압도적으로 높았습니다. 범죄자가 피해자를 만난 경우 최초 접촉 경로는 절반이 '채팅앱'이었습니다.

언스플래쉬(Dima Solomin)

조진경 십대여성인권센터 대표는 정부가 채팅 앱 문제를 외면해왔다며 "'한국 앱만 규제하면 해당 산업에 타격을 줄 수 있다'는 이유를 들었다. 아동·청소년 인권보다 산업을 더 중시하는 게 한국 정부"라고 지적했습니다.

해외 SNS에 대해서는 경찰이 범죄자 정보 제공을 요청할 수 있는데요, 자발적 협조로는 수사 한계가 뚜렷합니다. 구글과 메타는 국제공조를 신청할 수 있는 별도 페이지를 마련했지만 텔레그램, 디스코드 등은 수사에 협조하지 않고 있어요. 정보 제공을 명령할 수 있는 국제협약 가입이 필요하다는 목소리도 있습니다.

🔷 SNS가 해로운 콘텐츠나 악의적인 사용자들로부터 아동들을 보호하지 못하고 있다는 우려가 커지면서 미국과 유럽은 빅테크를 규제하고 나섰습니다. 한국은 아직 효과적인 규제 정책을 내놓지 못했습니다.

1. 무한 스크롤의 종착지

다시 빅테크 이야기로 돌아가 보겠습니다. 구글에서 추천알고리즘을 개발하고 페이스북에서 수석 제품매니저를 지낸 정보기술 전문가 프랜시스 하우건은 3년 전 페이스북 알고리즘이 극단적이고 자극적인 콘텐츠일수록 사람들에게 더 많이 전달되도록 설계돼 있다고 폭로했습니다.

하우건이 폭로한 문건에는 SNS가 자살충동이나 섭식 장애를 심화시키는 등 10대의 정신적·신체적 건강에 해를 끼칠 수 있다는 사실을 사측이 알고 있었다는 내용이 포함됐다고 합니다. 제보를 받은 미국 언론들은 인스타그램이 이런 조사결과를 알면서도 알고리즘을 방치했다고 보도했어요.

페이스북의 이용자는 약 30억명입니다. 세계에서 가장 인구가 많은 나라인 인도 인구의 두 배에 달합니다. 메타는 알고리즘을 설계해 이 인구가 만드는 모든 정보를 관리하고요. 그런데 알고리즘이 진실이나 사용자의 안전보다 조회수와 이용시간만을 추구한다면 어떨까요.

영화 <소셜 딜레마>의 한 장면. 넷플릭스 제공

다큐멘터리 영화 <소셜 딜레마>는 이 점을 지적하며 SNS가 지배하는 사회를 우려합니다. 빅테크 전·현직 관계자들은 빅테크가 인간 심리의 약한 부분을 깊게 파고들어 SNS 중독에 빠뜨리도록 알고리즘을 설계했다고 비판합니다.

플랫폼에서 돈이 되는 것은 이용자의 관심입니다. 알고리즘은 사람들을 계속 플랫폼에 잡아두려 합니다. 영화에 등장한 빅테크 관계자들은 이 과정에서 빅테크가 사용자의 정신건강과 유해 콘텐츠 규제보다는 수익을 우선시 함으로써 이용자가 유해 콘텐츠에 노출되는 것을 방치한다고 말합니다. 결과적으로 청소년의 정신건강과 사회의 민주주의에 해를 끼쳤다고도 하지요.

구글의 디자인 윤리 담당자였던 트리스탄 해리스는 "사회의 어두운 면을 끌어내는 기술의 능력과, 사회의 어두운 면이 실질적인 위협"이라고 경고합니다.

2. "오프라인에서 불법은 온라인에서도 불법"

마케팅 업체 케피오스에 따르면 전세계 인구 60%가 넘는 사람들이 SNS를 이용합니다. 하루 평균 이용 시간은 2시간 26분이라고 해요. SNS의 영향이 점점 어마어마해 지고 있어요. 우리는 과연 디스토피아를 향해 가는 걸까요?

프랜시스 하우건은 페이스북 자체가 아니라 돈벌이를 우선하는 인센티브 시스템이 문제라고 말했습니다. 시민사회와 의회의 개입을 통해 "모두를 위한, 더 나은 SNS를 얼마든지 만들지 수 있다"고요. 유해 콘텐츠 유통에 과징금을 부과하는 등의 방식으로 유해 콘텐츠 방지가 유통보다 이득이 되게 시스템을 바꿔야 한다는 것이죠.

스탠퍼드 정치학 교수인 롭 라이히와 제러미 M. 와인스타인, 구글 초기 멤버였던 메흐란 사하미가 쓴 책 <시스템 에러>도 "기술의 영향은 우리가 새로운 기술을 어떻게 설계하느냐, 기술과 어떻게 상호작용을 하느냐, 기술을 지배하기 위해 어떤 규칙을 마련하느냐에 달려있다"며 낙관합니다.

EU는 2022년 '디지털 권리 및 원칙에 관한 선언문' 초안을 발표했습니다. 이들이 선언한 원칙이 인상 깊었어요. "오프라인에서 불법인 것은 온라인에서도 불법이어야 한다." 앞서 소개해 드린 빅테크 규제책 DSA도 이런 원칙 위에 세워졌습니다. 온라인 콘텐츠에도 '공동체의 기준'을 적용하려는 노력이 필요하다는 점을 명확히 했어요.

고려해야 할 것들이 많아요. 빅테크는 지금까지 표현의 자유를 강조하며 자율규제를 주장해 왔습니다. 공화당, 민주당 가릴 것 없이 SNS를 규제하려 하는 배경에 여론을 통제하려는 의도가 있는 것 아니냐는 우려의 목소리도 있지요. 그만큼 SNS 규제 방안은 세밀하게 설계돼야 합니다. 타인의 존엄성을 해치지 않는 표현의 자유는 지켜야 하니까요.

<소셜 딜레마>와 <시스템 에러> 모두 입법을 통해 사회적 기준을 확립한 뒤, SNS의 기술을 이용해 유해 콘텐츠를 걸러내자고 제안합니다. 2021년 보고서에 따르면 페이스북은 '성인 나체와 성행위' 기준을 위반한 콘텐츠의 99%를 사용자가 신고하기 전에 발견했다고 합니다. '자살과 자해'의 경우 수치는 92%, '집단 괴롭힘'의 경우는 50%였고요. AI는 제1방어선일뿐 결국 엄청난 정보에 맞서려면 어마어마한 규모의 인간, '콘텐츠 모더레이터'가 필요할 것이라고 <시스템 에러>는 내다봅니다. 강간, 자살, 참수, 기타 살인 장면을 마주해야 하는 이들의 노동 조건도 함께 고려해야 할 문제입니다.

책은 "우리의 규칙이 규제하고자 하는 기술만큼 역동적이어야 한다"고 말합니다. SNS 시스템은 지금도 변하고 있고, 그 안의 문화는 실시간으로 만들어졌다 사라지곤 합니다. 하루 빨리 제대로 된 원칙을 세우고 그 안에서 사람들을 보호할 방법을 함께 연구해야겠습니다. 혁신이냐 규제냐의 이분법을 넘어서요.

🔷 '혁신이냐 규제냐'의 이분법을 넘어, 공동체의 기준을 SNS 세계에도 적용할 방법을 발 빠르게 마련해야 합니다.

🔷 메타 CEO 마크 저커버그는 미 상원의원 청문회에서 SNS에서 피해를 당한 아동들의 가족에게 사과했습니다.

🔷 '혁신이냐 규제냐'의 이분법을 넘어, 공동체의 기준을 SNS 세계에도 적용할 방법을 발 빠르게 마련해야 합니다.

'유해 콘텐츠' 지우는 일 합니다

콘텐츠 모더레이터를 인터뷰한 영상이에요. 이들은 SNS나 사이트 게시글을 모니터링해 유해한 내용을 삭제합니다. AI가 유해 콘텐츠를 전부 걸러낼 수 없어 꼭 필요한 일이에요. 이들은 끔찍하고 더러운 사진·영상을 마주합니다.

아바타 괴롭힘도 처벌할 수 있을까

니나 파텔의 아바타는 가상현실 에서 세 명의 남성 아바타에게 성적 괴롭힘을 당했습니다. 파텔은 마치 실제로 당한 것 같은 공포를 느꼈다고 합니다. 법적 처벌은 어려운데요, 새로운 형태의 괴롭힘에 우리는 어떻게 대응해야 할까요.

구독자님의 이야기

📬 "기술 자체부터 여러 가지 제약을 두면 기술은 발전할 수 없습니다. 누군가 타인의 자유와 권리를 해치는 콘텐츠를 만들었다면 법적으로 그를 추적해 처벌할 수 있는 시스템, 콘텐츠를 유통·확대하는 업체가 악의적 콘텐츠를 억제하고 걸러낼 수 있는 노력을 하지 않았을 때 민사소송을 통해 금전적 배상을 감당하는 시스템을 만들어야 합니다. 악의적 콘텐츠를 공유하고 즐기는 걸 터부시하고 비판적으로 바라보는 문화도 형성해야 하고요.

그러나 국가는 항상 사후적으로 개인과 기업을 법으로 처벌하려고만 하고 그것을 위해 시민과 기업의 활동을 하나부터 열까지 관리할 수 있는 권한을 가지려고 합니다. 같은 규제도 국가가 시민과 사회를 어떻게 바라보냐에 따라 동작방식이 달라질 텐데요, 국가가 시민의 분노를 대리해 처벌하는 역할에 집중한다면 어떤 규제도 효과보단 부작용이 클 것입니다." (익명의 독자님)

📬 "악의적인 마음을 가지고 딥페이크 성착취물을 제작한 사람에게 법적인 제재를 가하는 것이 맞다는 생각이 들지만, 동시에 알고리즘에 중독되게 기술을 만든 테크 기업이나 삽시간에 퍼지도록 도와준 그 활용자들 모두에게 책임이 있는것 같아요." (슬기로운불꽃님)

📬 "국가의 개입이 '입법'에 있다면 규제를 동의합니다. 국회에서 유해 콘텐츠에 대한 촘촘한 법을 만들고 그것이 잘 집행된다면 좋겠습니다." (익명의 독자님)

📬 "기업에 법적 의무를 부과하는 법안을 만들고 모니터링할 수 있는 기구를 운영하면 지금보다는 유효한 자정 작용이 일어날 수 있지 않을까 싶습니다. 자본과 기술은 그토록 발전했다고 하는데 왜 그게 인간의 권리를 발전시키지는 못하는 걸까요" (익명의 독자님)

📝 "지난주 미리 보는 점선면을 통해 독자님들께 SNS 규제에 대한 의견을 여쭤봤어요. 답변을 남긴 모든 독자님이 SNS에도 유해 콘텐츠에 대한 책임이 있다고 답변을 주셨어요. 그와 관련해 다양한 의견을 보내주셔서 일부를 소개합니다😊"