이탈리아의 첫 여성 총리 조르자 멜로니(47)가 딥페이크 음란물 제작·유포자를 상대로 칼을 빼들었다. 딥페이크는 딥러닝과 가짜라는 말의 합성어인데 인공지능(AI) 기술로 제작한 가짜 사진·영상·음성 등을 말한다. 이탈리아 안사(ANSA) 통신은 19일(현지시간) 멜로니 총리가 자신의 얼굴로 딥페이크 음란물 영상을 제작·유포한 73세와 40세 부자(父子)를 상대로 10만 유로(약 1억5000만원)의 손해배상 민사소송을 제기했다고 보도했다. 멜로니 총리는 자신의 변호인을 통해 “나와 같은 피해를 본 모든 여성들에게 고발하는 것을 두려워하지 말라는 메시지를 전하고자 소송에 나섰다”고 밝혔다. 그는 오는 7월 2일 사르데냐 섬에서 열리는 재판에 원고로 직접 출석해 증언할 예정이다. 승소하면 배상액 모두 폭력 피해 여성을 위한 내무부 기금에 기부할 것이라고 밝히기도 했다. 이번 소송은 멜로니 총리가 아직 당선되기 전인 포르자이탈리아 당대표 시절까지 거슬러 올라간다. 당시 미국의 한 성인물 사이트에는 그의 딥페이크 영상이 올라왔고 몇 달 동안 수백만 건의 조회 수를 기록했다. 수사 당국은 BBC 방송에 멜로니 총리의 딥페이크 영상을 올리는 데 사용됐던 모바일 기기를 추적해 제작·유포자를 찾아낼 수 있었다고 밝혔다.

인공지능(AI)은 인류의 삶에 여러 가지로 영향을 미치고 있다. 일상에 사소한 영향을 미치는 것은 물론 크게는 현대 민주주의 제도의 작동에도 영향을 미치고 있다. AI가 인류의 풍요와 번영에 기여할 수 있도록 하기 위해서는 어떤 사회적 고민이 필요할지에 대해 본격적인 논의가 필요한 시점이다. 그런 점에서 이번에 서울에서 개최되는 ‘제3차 민주주의 정상회의’는 시의적절하면서도 중요한 행사다. 민주주의 정상회의는 미국에서 매년 개최되다가 이번에 처음으로 미국을 벗어나 우리나라에서 열리게 되었다. 올해 행사의 주제는 ‘AI·디지털 기술과 민주주의’로, AI를 포함한 새로운 디지털 기술이 민주주의에 어떤 영향을 미치는지 그리고 그에 대해 어떤 준비를 해야 할지를 여러 나라의 고위급 대표와 전문가들이 모여 깊이 있게 논의하는 기회가 될 것이다. AI 같은 새로운 기술은 사회적 도입 과정에서 흔히 불안감을 야기한다. AI를 이용한 가짜뉴스가 양산될 가능성이나 딥페이크 기술이 활용돼 왜곡된 이미지나 영상이 무분별하게 만들어지고 유포될 가능성을 두고 우려의 목소리가 제기되는 것이 대표적이다. 또 AI 기술이 개인 맞춤형 서비스의 고도화에 적극 활용되면서 소셜미디어(SNS) 이용자들이 극단적 시각이나 편향된 시각에 일방적이고 지속적으로 노출될 가능성에 대한 염려도 있다. 이런 문제는 AI가 민주주의 작동 과정에 악영향을 끼치는 부정적 요소로 작용할 가능성을 시사한다. 하지만 AI는 다양한 상황에 다양한 방식으로 응용되면서 민주주의가 원활하게 작동하는 데 도움을 줄 수도 있다. 예를 들어 이름이 잘 알려지지 않은 정치 신인이 자신의 정치적 견해를 유권자들에게 손쉽게 알리는 데 AI 기술이 적극 활용될 수 있다. 유권자의 시각에서는 AI 기술이 개별 정치인이나 정당의 정책적 입장에 대해 빠르고 체계적으로 파악하는 데 도움이 될 수 있고, 더 나아가 서로 다른 정치인이나 정당 사이의 입장을 명확히 비교해 판단하는 데 활용될 수도 있다. 기존의 정치인이 어떤 의정 활동을 했는지 정리해 파악하는 데에도 AI가 도움을 줄 수 있다. 정치인의 법안 발의와 관련해서도 많은 고민이 담긴 새로운 법안의 발의를 위해 진지한 노력을 했는지, 혹은 그 반대로 ‘복사해서 붙여넣기’ 수준의 법안 발의를 주로 했는지에 관해 AI가 쉽게 요약해 알려 줄 수 있다. 이처럼 AI는 민주주의적 의사 결정 과정에서 다양한 역할을 수행할 수 있다. 그리고 그 영향은 부정적인 것일 수도, 긍정적인 것일 수도 있다. 우리 사회가 어떤 준비를 하고 어떤 대응을 하는지에 따라 AI는 민주주의에 도움이 될 수도, 저해 요소로 작동할 수도 있다. 이번에 열리는 민주주의 정상회의를 계기로 AI가 유용한 역할을 하는 밝은 미래를 위한 논의가 본격화되기를 기대한다. 고학수 개인정보보호위원장

최근 일본에서 선정적인 콘텐츠로 높은 조회수를 낸 여성 유튜버가 ‘생성형 인공지능(AI)이 아니냐’는 주장이 제기됐다. 16일 산케이신문에 따르면 지난 2023년 9월에 개설된 ‘미스도쿄대’라는 이름의 유튜브 채널에는 한 젊은 여성이 공원이나 야외를 혼자 걷는 영상 등이 게재됐다. 이 여성은 자신이 도쿄대 이공계 학생을 부르는 이른바 ‘미스도쿄대’를 목표로 한다고 소개했다. 여성은 유튜브에 옷을 입은 상태로 속옷을 벗는 모습을 보여주는 등 대부분 선정적인 영상을 올린다. 또 ‘노브라 산책’ 등 자극적인 제목을 달기도 한다. 해당 유튜브 채널 영상은 조회수 수백만회에 달하는 것도 있으며, 구독자는 순식간에 수만명을 기록했다. 도쿄대 홍보과 관계자는 이 여성에 대해 “알지 못한다”고 답했다. 현재 해당 유튜브 계정은 정지된 상태다. 이와 관련해 현지인들 사이에서는 “부자연스러운 모습이 보인다”는 목소리가 나오기 시작했다. 산케이신문은 “해당 계정 외에도 ‘미스도쿄대’ 이름을 붙인 여성의 동영상이 게재되고 있다”고 전했다. 해당 영상을 본 일본정보학연구소의 한 교수는 “그림자나 움직임이 매우 자연스럽게 보이지만, 옆얼굴 부분이 잘려 나가는 등 어색한 장면이 많다”며 “생성형 AI로 만들어진 ‘딥페이크’일 가능성이 있다”고 설명했다. 산케이신문은 전문가를 인용해 ‘수익 구조’에 대한 문제를 제기했다. 도쿄공업대의 사사하라 카즈토시 교수는 “(영상) 재생 횟수나 구독자 수에 따라 광고 수입이 제작자에게 돌아간다”며 “딥페이크를 이용해 돈을 벌 수 있는 구조가 돼 있다”고 지적했다. 산케이신문에 따르면 이러한 선정적인 영상 제작자 중에는 여러 사이트에 링크를 함께 게재해 ‘유료 회원이 되면 보다 더 선정적인 동영상을 열람할 수 있다’는 식으로 유도하기도 한다. 사사하라 교수는 “딥페이크 포르노가 대량 생산되면 사회질서 면에서 문제가 된다”며 우려했다.

국내외에서 선거를 앞두고 인공지능(AI) 기술로 만든 딥페이크 가짜 영상에 주의보가 내려진 가운데, 국내 생성형 AI 전문 기업 딥브레인AI가 경찰청과 협력해 딥페이크 범죄 단속을 돕는 탐지 솔루션을 선보였다고 15일 밝혔다. 최근 딥페이크 기술의 고도화로 이를 악용한 범죄 우려가 가중됨에 따라, 딥브레인AI는 경찰청과 함께 이를 효과적으로 대응할 수 있는 맞춤형 딥페이크 탐지 솔루션을 개발했다. 경찰청은 이를 활용해 총선을 겨냥한 선거범죄를 비롯한 피싱 범죄와 합성 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 능동적으로 대처할 방침이다. 딥브레인은 앞서 딥페이크 탐지 솔루션을 지속 개발해 왔다. 이번 솔루션은 ▲종합탐지 ▲음성탐지 2가지로 구성돼 있으며, 각각 이미지와 영상, 음성 탐지를 지원한다. 딥페이크로 의심되는 영상을 시스템에 업로드하고 ▲탐지모델 ▲탐지구간 ▲탐지인물 등을 설정하면 진위여부를 즉각 판별한다. 이번 딥페이크 탐지 솔루션은 딥브레인AI의 생성형 AI 아바타 제작 솔루션과 내부 축적된 다량의 딥러닝 기반 AI 휴먼 데이터를 기반으로 설계됐다. 서양인 위주의 데이터로 제작된 기존 대다수 탐지 모델과 달리 한국인 데이터 100만 건, 아시아 계열 인종 데이터 13만 건을 포함해 총 520만 건의 데이터 학습을 더해 탐지율을 높였다. 딥브레인AI는 이번 경찰청과의 협력을 계기로 다양한 분야의 기업, 기관과 딥페이크 탐지 솔루션 구축 방안을 논의할 예정이다. 혼란과 위기 상황을 야기하는 허위 정보의 진위여부를 즉각 판별하는 솔루션을 적극 공급하며 전 사회적인 손실 비용을 최소화한다는 방침이다.

마치 영화 ‘바이센테니얼맨’을 보는 듯한 일이 현실에서 일어나 전 세계가 충격에 휩싸였다. 미국의 휴머노이드 로봇 개발 스타트업인 ‘피규어AI’가 챗GPT 개발업체인 오픈AI와 협업해 만든 로봇 영상이 13일(현지시간) 공개되면서다. 영상 속 로봇 ‘피규어 01’에게 인간이 “지금 뭐가 보이냐”고 묻자 ‘피규어 01’은 “테이블 중앙에 있는 접시 위에 올려진 빨간 사과가 보인다”고 말한다. 이어 “뭐 좀 먹어도 되냐”고 묻자 “물론”이라고 대답하면서 사과를 집어 건넨다. 인공지능(AI)을 탑재한 로봇이 스스로 주어진 환경을 인식하고 판단해 상황에 맞는 행동을 취한 것이다. AI가 스스로 판단하고 행동할 수 있는 수준이 된다는 건 인간의 통제 범위를 벗어난다는 것을 의미한다. 미국 민간업체 글래드스톤 AI가 미 국무부 의뢰로 최근 발표한 보고서는 범용인공지능(AGI)의 위험성을 담고 있다. AGI는 인간과 유사하거나 그 이상의 능력을 지닌 ‘미래의 AI’를 말하는데, 최첨단 로봇과 AGI가 등장하면 인류에게 멸종 수준의 위협을 초래할 수 있다는 것이다. AGI의 진화 속도가 관건이다. 전문가들은 향후 5년 이내에 AGI가 나올 수 있다고 본다. AI를 악용한 딥페이크(Deepfake)가 범람하면서 AI 규제 움직임이 촉발된 것은 그나마 다행스럽다. 지난 1월 테일러 스위프트를 합성한 딥페이크 이미지가 소셜미디어 ‘X’(옛 트위터)를 통해 유포된 것이 AI 규제법 논의의 촉매제가 됐다. 미국 정치권에서도 민주당 뉴햄프셔주 경선 전날인 지난 1월 22일 조 바이든 대통령 목소리를 흉내 낸 로보콜(녹음된 음성이 재생되는 자동전화)이 무더기로 유포돼 혼란이 일었다. 발등에 불이 떨어진 인류에게 시간은 얼마 남지 않았다. 다행히 유럽연합(EU)은 세계 최초로 포괄적 AI 규제법을 마련해 13일(현지시간) 승인했다. AI 활용 분야를 총 4단계의 위험등급으로 나눠 차등 규제한다. 특히 AGI 개발 기업에 대해 ‘투명성 의무’를 부여하기로 했는데 초안에 없었다가 AI 오남용에 대한 우려로 추가됐다. 우리나라도 2021년 7월 정필모 더불어민주당 의원 등이 발의한 ‘인공지능기본법’ 이후 다수의 법안이 발의됐지만 논의는 제자리다. 딥페이크로 인한 피해는 이미 눈앞에 다가왔는데 너무 태평하다.

세계 최대 온라인 학습 플랫폼 ‘코세라’의 제프 마지온칼다 최고경영자(CEO)는 12일 “AI 번역 기능을 통해 4400개 강좌를 한국어로 번역했다”면서 “영어를 몰라도 수많은 대학과 기관이 만들어 낸 학습 프로그램을 이용할 수 있게 됐다”고 말했다. 미국 예일대의 ‘금융 시장’, 미시간대의 ‘모두를 위한 프로그래밍’, IBM의 ‘데이터 과학이란 무엇인가’ 등 최근까지 영어로만 제공됐던 인기 강좌도 이제는 한국어 자막을 통해 좀더 수월하게 들을 수 있게 됐다는 얘기다. 마지온칼다 CEO는 서울 중구 더플라자호텔에서 열린 한국 첫 기자간담회에서 “AI를 통해 번역 비용을 크게 줄였다”면서 “우리의 목표는 언어에 관계없이 모든 사람이 최고의 교육을 받을 수 있게 하는 것”이라고 강조했다. 미 실리콘밸리에 위치한 코세라는 ‘AI 4대 천왕’ 중 한 명으로 불리는 앤드루 응 스탠퍼드대 교수 등이 2012년 세운 온라인 학습 플랫폼으로 전 세계 325개 이상의 대학, 산업 파트너와 협력해 다양한 학습 콘텐츠를 제공한다. 등록된 학습자만 1억 4200만명이다. 마지온칼다 CEO는 “언어 번역 모델을 돌려본 뒤 사람이 직접 읽어서 번역이 제대로 됐는지 확인한다”면서 “최대한 현지 언어 뉘앙스를 살리면 좋겠지만 번역이 완벽할 때까지 기다리는 것보다 먼저 서비스를 제공하는 게 중요하다고 봤다”고 말했다. 현재 AI 번역 서비스가 제공되는 언어는 한국어를 포함해 22개 언어다. 그는 “번역이 어색하면 버튼을 클릭해 피드백을 줄 수 있다”면서 “번역 모델은 계속 개발되고 있고, 우리도 자주 재번역 과정을 거친다”고 말했다. 지금은 자막과 스크립트를 번역하는 수준이지만 딥페이크(AI로 만든 영상·이미지 합성 조작물) 기술을 통해 이른바 ‘더빙’ 작업도 가능할 것으로 보인다. 그는 “많은 컴퓨팅 작업이 필요하지만 비용이 낮아진다면 전 세계 모든 수강생이 자국어로 강좌를 들을 수 있게 된다”면서 “언어 장벽은 곧 사라질 것”이라고 말했다.

하루가 다르게 발전하는 인공지능(AI)기술, 원래의 기술 목적보다 악용되는 사례가 많은 딥페이크 기술로 중국 전역을 감동시킨 남성이 있다. 9일 중국 CCTV 방송에서는 랴오닝성(省) 푸순에 거주하고 있는 순 씨의 사연을 소개했다. 이 남성은 어머님에게 보내는 안부 영상을 올렸고 짧은 영상에도 말을 제대로 잇지 못하고 눈물을 쏟았다. 알고 보니 이 남성이 찍은 영상의 모습은 본인이 아닌 자신의 아버지였다. 순 씨가 이런 영상을 찍을 수밖에 없던 이유는 연로하신 할머니 때문이다. 지난 2022년 순 씨의 아버지는 충수암에 확진되었다. 발견했을 당시 이미 암 말기 판정을 받았고 병을 고치기 위해 여러 병원을 찾았지만 결국 암 진단 1년 만인 2023년 세상을 떠났다. 당시 중국은 강력한 제로 코로나 정책을 시행하고 있었기 때문에 할머니와 아버지는 오랫동안 만나지 못한 상태였다.아들에게 각별한 감정을 갖고 있던 할머니는 지금까지도 계속 순 씨에게 연락하며 아버지와의 통화를 원했다. 올해로 91세 연로하신 할머니가 충격을 받으실까 봐 가족들은 지금까지 아버지의 죽음을 비밀로 하고 있었기 때문이다. 이런저런 핑계를 대며 할머니와의 통화를 피하던 순 씨는 할머니를 안심시키기 위해 AI 기술을 이용해 아버지의 모습을 하기로 마음먹었다. 아버지처럼 하기 위해 길렀던 수염까지 밀고 AI 프로그램을 사용해 아버지의 모습으로 변했다. 영상 속 순 씨는 아버지가 ‘환생’한 듯 “어머님, 저 지하이(继海)입니다. 베이징에서 잘 살고 있어요…”라며 짧은 말을 남겼다. 순 씨가 사용한 프로그램이 고사양이 아니라서 화질이 좋지 않았지만 다행히 연로하신 할머니는 알아채지 못했다. 영상을 찍으면서 순 씨는 돌아가신 아버지의 빈자리를 느끼고, 아버지의 책임감을 느끼면서 과거의 아버지와 ‘이별’했다고 한다. 이 짧은 영상도 북받치는 감정을 추스르면서 보름 만에 완성했기 때문에 두 번째 영상을 찍을 수 있을지도 불분명하다. 또한 할머니가 연로하시기 때문에 언제까지 속일 수 있을지도 장담할 수 없지만 “좀 더 단단해지고 아버지처럼 가족들에게 정신적인 버팀목이 되겠다”라고 말했다. 이 뉴스를 접한 중국인들은 “나도 같이 울었다”, “이게 바로 기술 개발의 순기능이다”, “AI 진정한 의미다”, “아마도 이런 게 과학 기술 발전의 초심이 아니었을까?” 라며 감동했다.

본인이 직접 노래하는 것처럼 인공지능이 부른다면 어떤 기분이 들까? 최근 개그맨이자 가수인 박명수는 자신의 목소리를 학습한 ‘인공지능(AI) 박명수’가 부르는 ‘밤양갱’이라는 커버곡을 듣고는 깜짝 놀랐다. 그는 방송에서 “이 노래를 부른 적이 없다. 들어 보니 어쩜 이렇게 똑같나. 앞으로 우리 어떻게 해야 하나. 연예인들 어떻게 해야 돼” 하며 혀를 내둘렀다. 인공지능 기술 발달로 AI 커버가 주목받고 있다. 커버곡은 가수가 자기 노래가 아닌 다른 가수의 노래를 자신만의 스타일로 부르는 노래다. 인공지능 커버는 일반인이 박명수 같은 연예인이나 가수의 목소리 데이터를 학습한 인공지능 모델을 활용해 만든 노래다. 정교한 커버곡은 소셜미디어에서 수백만회 조회를 올릴 정도로 인기다. AI 커버곡 제작을 전문으로 하는 채널들이 있을 정도로 새로운 음악시장을 형성하고 있다. 인공지능 커버 시장이 커질수록 법적 분쟁도 늘어날 전망이다. 저작권법엔 AI 커버 제작에 사용된 원 노래의 저작권과 목소리 주인공의 저작인접권 침해에 대한 별도 규정이 없다. 커버 인기가 노래 홍보를 뛰어넘는 단계로 옮아가면 분쟁은 불가피할 것이다. 이 때문에 한국음악저작권협회는 AI 활용 표시 의무를 담은 콘텐츠산업진흥법 개정을 촉구하고 있다. AI 커버곡 제작자들은 자신들의 행위가 공익성을 가지며 인공지능 산업 발전에도 기여한다고 한다. 저작권법은 공익을 위한 저작물의 사용과 복제를 저작권 침해가 아닌 공정이용으로 본다. 최근 미국의 뉴욕타임스가 자사 기사를 무단 사용했다며 오픈AI를 상대로 낸 저작권 침해 소송에 오픈AI는 이 공정이용 조항을 들먹이며 반박했다. 하지만 가치 있고 신뢰도 있는 데이터를 상업적으로 사용한다면 법적으로 문제될 수 있다. 법적 분쟁 못지않게 우려되는 건 이런 기술이 딥페이크 등 범죄에 악용될 수 있다는 점이다. 목소리 데이터가 쌓이면 쌓일수록 본인까지 깜짝 속을 정도의 딥보이스 기술이 적용된 콘텐츠는 확산될 것이다. 인공지능 기술 발달로 현실과 상상의 경계가 무너지고 있다. 인공지능이 삶의 질은 향상시키고 범죄에 악용되는 등의 부작용은 줄일 안전한 보안기술이 나오기를 바라 본다.

생성형 인공지능(AI) 등장 이후 빠른 속도로 기술이 발전하면서 인류와 AI의 공존이 화두로 떠올랐다. 모든 산업의 AI화를 넘어 일상에까지 침투해 온 AI를 그저 ‘반가운 손님’으로 맞이할 것인지 사람들이 묻기 시작한 것이다. AI가 인간의 통제를 벗어날지도 모른다는 두려움은 더 늦기 전에 기술 개발을 잠시 멈추자는 논의로 이어졌다. 스스로 의식을 가진 AI가 갑자기 깨어나서 인류를 멸망시킬 것인가. 서울신문은 ‘인간은 필요 없다’, ‘인공지능의 미래’ 등 베스트셀러 저자이자 미국 스탠퍼드대에서 AI의 사회·경제적 영향에 관해 강의하고 있는 인공지능학자 제리 캐플런(72) 박사에게 생성형 AI 이후 달라질 미래 모습에 대해 이메일을 통해 물었다. 그는 5일 “걱정하지 말라”며 “변화를 감당할 수 없을 만큼 상황이 너무 빠르게 진행되고 있지는 않다”고 말했다. 캐플런 박사는 최근 생성형 AI가 가져올 변화를 다룬 책에서도 “우리가 설계한 기계가 엉망이 돼 날뛰지 않도록 적절한 회로 차단기를 설치하면 된다”고 주장했다. “생성형 AI는 인간처럼 생각하지도 않고 인간과 같은 마음도 없다”는 그는 정체불명의 의인화된 AI는 현실에 없기 때문에 우리를 공격하지 않을 것이라고 했다. 다만 생성형 AI가 우리 삶의 거의 모든 걸 변화시키고 노동시장을 뒤흔들며 사회질서를 재편할 것이라고 봤다. 다음은 일문일답.#선거판 속 AI딥페이크, 스팸 메일처럼 심각사용금지·형사고발 이어질 것 -텍스트를 입력하면 알아서 동영상을 만들어 주는 AI 모델(소라·Sora)이 공개됐다. 기술 발전 속도가 너무 빠른 것 아닌가. “놀랍게도 기술 발전의 속도를 연구하는 경제학자들은 가까운 과거의 발전 속도가 실제로 이전보다 더 느리다는 사실을 발견했다. 예를 들어 당신이 1910년에 살고 있었다면 지난 20년 동안 자동차, 비행기, 녹음기 발명을 목격했을 것이다. 조금만 더 거슬러 올라가면 사진 발명도 있었다.” -대선을 앞둔 미국과 마찬가지로 한국은 4월 국회의원 선거를 앞두고 딥페이크 영상 게시물로 몸살을 앓고 있다. “딥페이크는 과거 스팸 메일과 마찬가지로 심각한 문제다. 간단히 말해 선거 등 중요한 상황에서 딥페이크 사용은 금지될 것이며 사용할 경우 형사 고발로 이어질 것이다. 또한 사람들은 그 문제에 대해 훨씬 더 많이 인식하게 될 것이고, (딥페이크 영상에 대해) 더욱 회의적으로 변할 것이다.” -AI 기술로 인한 일자리 변화는 막을 수 없을 것 같다. “그래픽 아티스트, 컴퓨터 프로그래머 등 일부 직업은 다른 직업보다 더 큰 영향을 받을 것이다. 그러나 이러한 직업에 종사하는 대부분의 사람들은 여전히 직업을 갖고 있을 것이고, 생성형 AI 시스템을 ‘지능형 비서’로 사용할 것이다. 과거 사진이 발명됐을 때 초상화가 등 화가라는 직업에 영향을 미쳤던 것만큼 극적인 변화는 아닐 것으로 본다.”#노동시장의 변화컴퓨터 관련 직업은 변화 예고AI 시스템에 업무 도움받을 것 -생성형 AI의 문제점 중 하나는 ‘할루시네이션’(환각 현상)이다. AI가 그럴듯한 오답을 내놓는 이 현상이 수년 내 해결될까. “실제로 AI가 우리가 기대하는 것보다 더 인간처럼 행동한다는 게 문제다. 이 문제는 여러 방식으로 제어가 될 것이다. 우선 가짜 정보를 만들어 내는 걸 방지하는 ‘내부 설정’ 작업과 함께 특정 목적에 맞게 훈련을 거칠 것이다. 둘째, 개발자들이 AI가 꾸며내지 않도록 지시하는 더 나은 방법을 찾을 것이다. 셋째, 대부분 시스템은 인간이 하는 것처럼 외부 소스를 통해 의심스러운 정보를 확인할 수 있을 것이다. 문제가 해결되지는 않아도 이 세 가지는 환각 문제를 크게 줄여 줄 것으로 본다.” -AI가 설계자의 의도나 예상과 다른 결과물을 내놓는다면 결과적으로 인간이 AI를 통제할 수 없다는 것 아닐까. 국제규범 마련이 시급하다는 의견도 있다. “국제규범은 도움이 되지 않을 것이다. 무엇이 허용되고, 그렇지 않은지를 AI 시스템이 더 잘 이해할 수 있게 훈련시켜야 한다. 이 시스템을 적절하게 통제할 수 없다면 굳이 특정한(위험한) 용도나 목적으로 사용하지는 않을 것이다. 우리는 온갖 위험한 도구를 만들고, 그 결과를 감수하며 살아간다. 자동차를 예로 들어 보자. 교통사고로 수많은 사람이 목숨을 잃지만 편리함 때문에 자동차를 이용한다. AI 시스템도 마찬가지 아닐까.” -생성형 AI의 등장으로 인간이 묻고 AI가 답하는 시대가 됐다. 우리는 어떤 역량을 더 발전시켜야 할까. “생성형 AI로 인해 사람들은 이전보다 감독자, 관리자에 가까워질 것이다. 이 새로운 기술은 사람들이 기계로부터 나은 결과를 얻어내는 데 전문가가 되게 해 줄 것이다. 스프레드시트(숫자 표에서 계산 기능을 수행하는 프로그램) 사용법을 아는 것과 다르지 않다. 기술을 더 잘 활용할 수 있는 사람이 이러한 기술을 갖지 못한 사람에 비해 더 높은 평가를 받게 될 거다.” -사람들이 AI에 감정적 애착을 느낄 수도 있을 것 같다. AI를 유일한 대화 상대이자 친구로 느끼게 되면 인간과의 관계 맺기가 왜곡되지 않을까. “저는 AI와 교제하는 걸 ‘정서적 포르노’(emotional pornography)라고 부른다. 우리를 이전보다 더 고독하게 만드는 동시에 외로움을 줄여 줄 수도 있다. 얼마나 모순인가.” #오답 말하는 AI기대보다 ‘인간처럼 행동’ 문제여러 설정·훈련 통해 제어될 것 -정서적 포르노라고 표현한 건 AI와 매우 강한 감정적 유대를 형성하면서 사람들이 혼란을 겪게 되고, 정상적인 인간관계가 붕괴될 수 있다는 뜻인가. “포르노는 사람들이 실제 사람들과 상호작용하는 대신 사진을 통해 만족을 얻도록 한다. 정서적 포르노도 비슷하다. 실제 사람들과 교제하지 않고 컴퓨터 프로그램과 상호작용하면서 (관계에 대한) 필요를 충족시킬 것이다. 그렇게 되면 인류와도 단절되는 것이다.” -AI 기술 발전으로 로봇이 많은 일을 대체하면 ‘사람은 도대체 뭔가’라는 질문에 직면할 것 같다. AI 시대 인간다움은 무엇이라고 생각하나. “인류는 아무데도 가지 않는다. 걱정할 필요가 없다. 오늘날 우리는 더이상 가구, 옷 등을 만드는 숙련된 장인을 필요로 하지 않지만 그러한 기술을 가진 사람은 과거에 비해 훨씬 더 존경받으며 가치를 인정받는다. 생성형 AI도 우리를 가장 인간답게 만드는 일에 집중할 수 있게 해 줄 것이다.” #저작권의 새 정의사진 첫 발명 때 저작권 미적용AI 결과물도 법 보호받게 될 것 -생성형 AI가 내놓은 결과물이 인간의 창작 활동을 대체하면서 저작권 정의를 바꿔야 한다는 주장도 나온다. “AI 프로그램의 결과물도 저작권 보호를 받을 수 있게 법률을 바꿀 필요가 있다. 사진이 발명됐을 당시 사진가가 한 일은 ‘버튼을 누르는 것’뿐이었기 때문에 사진은 저작권이 있는 것으로 여겨지지 않았다. 지금 생각하면 말도 안 되는 얘기 아닌가. 생성형 AI에도 같은 일이 일어날 거다. 생성형 AI로 최상의 결과를 얻을 수 있는 사람은 매우 숙련된 사람으로 간주되고, 그들의 작업은 저작권의 보호를 받을 것이다.” -챗GPT 등장 이후 세계는 AI 경쟁에 돌입해 자국의 언어와 문화를 접목한 AI 모델을 만들고 있다. 앞으로 AI 주권을 지키는 현상이 더욱 강화될 것으로 예상된다. ‘AI 민족주의’는 불가피한가. “그렇다. 하지만 좋은 일이라고 생각한다. 사람들은 그들의 가치와 문화를 반영하는 제품(AI 모델)을 원할 것이다. 현지 기업은 멀리 있는 글로벌 기업보다 이러한 요구 사항을 더 잘 식별할 가능성이 높다. 이를 가장 잘 수행하는 회사나 제품이 현지 시장 내 경쟁에서도 이길 것이다.” #제리 캐플런 박사는? 제리 캐플런 박사는 미국 실리콘밸리에서 여러 기술기업을 창업했던 현장형 전문가다. 인공지능(AI) 분야 벤처기업 ‘테크놀리지’(Teknowledge)를 비롯해 ‘고 코퍼레이션’, ‘온세일’ 등을 공동 설립했다. 그는 현장 경험을 살려 일흔이 넘은 나이에도 여전히 강단(스탠퍼드대 겸임강사)에 서며 저술 활동을 하고 있다. 지난달 생성형 AI에 관한 책(‘Generative Artificial Intelligence: What Everyone Needs to Know’)을 새로 냈다. 한국어판(‘제리 카플란 생성형 AI: 지금 우리에게 필요한 것들’)은 올 상반기 내 나올 예정이다.

딥페이크(Deepfake)로 영상 속 인물의 얼굴을 가상 인물로 바꾼 한 영상을 ‘딥페이크 탐지 소프트웨어’에 업로드해 분석하니 금세 ‘변조율’이 76.76%인 ‘가짜’ 영상으로 판독됐다. 합성 유형은 ‘얼굴 바꿔치기’라고 가려냈다. 경찰청 국가수사본부는 이처럼 딥페이크 영상을 탐지하는 기술을 개발해 범죄 단속에 활용한다고 5일 밝혔다. 경찰이 개발한 소프트웨어는 영상 길이 등에 따라 5~10분이면 딥페이크인지를 판별한다. 딥페이크는 딥러닝(Deep learning)과 가짜를 의미하는 페이크(Fake)의 합성어로, 기존 영상을 다른 영상에 겹쳐서 만들어 내는 AI 기술을 기반으로 이미지를 합성하는 기술이다. 갈수록 딥페이크 기술이 정교해지 가운데 맨눈으로 구분해내기 어려운 딥페이크 영상을 이 소프트웨어로 구분할 수 있을 것으로 기대된다. 해외에서도 마이크로소프트 등이 딥페이크를 탐지하는 기술을 개발했지만, 서양인 위주로 데이터를 쌓았기에 한국인 얼굴을 바꿔치기 한 영상은 탐지율이 상대적으로 떨어진다는 평가를 받았다. 경찰청이 도입한 소프트웨어는 한국인 데이터 100만점과 아시아 계열 인종 데이터 13만점 등을 포함한 인물 5400명의 데이터 520만점을 학습한 결과, 탐지율 정확도가 80%에 달하는 것으로 분석됐다. 경찰은 총선을 앞두고 딥페이크로 가짜 영상을 만들어 허위 정보를 퍼뜨리거나 성 착취물을 만드는 범죄를 수사하는 데 소프트웨어를 활용할 계획이다. 공직선거법에 따라 딥페이크를 활용한 선거운동은 선거일 90일 전부터 선거일까지 전면 금지된다. 그러나 딥페이크 영상인지만을 따지기에 이 소프트웨어만으로는 모든 허위 영상을 구분해낼 수는 없다. 최근 소셜네트워크서비스(SNS)에서 퍼진 윤석열 대통령의 ‘가짜 양심고백 연설’ 동영상은 실제로 존재하는 영상을 짜깁기 한 것이기에 이 소프트웨어는 해당 영상을 ‘진짜’라고 판단했다. 경찰은 소프트웨어의 신뢰도가 100%가 아니기에 증거자료로 쓰기보다는 수사 방향을 정하는 참고자료로 활용하겠다는 계획이다. 국수본 관계자는 “딥페이크 이용 여부가 의심될 때 빠른 분석과 결과 확인을 거쳐 적극적으로 수사할 수 있을 것”이라며 “향후 더욱 정확한 탐지가 이뤄지도록 소프트웨어를 고도화하고 선거범죄, 합성 성착취물 범죄 외에도 딥페이크를 이용한 다양한 범죄에 능동적으로 대처해 나가겠다”고 말했다.

“딥페이크가 의심되면 이미지의 입과 눈을 주의 깊게 보세요. 우리가 가상인간을 만들 때 가장 어려운 부분이 역으로 딥페이크의 허점이 될 수 있습니다.” 인공지능(AI) 영상기술 전문기업 포바이포에서 버추얼유튜버(버튜버, V튜버) 태스크포스(TF)를 이끄는 안찬용(36) 팀장의 전공 분야인 가상인간을 바로 딥페이크 기술로 만든다. 딥페이크는 ‘딥러닝’과 ‘가짜’(fake)의 합성어로, 실제 인물의 이미지나 영상, 음성을 학습한 AI를 이용, 현실과 흡사한 가짜를 만들어 내는 기술이다. 그는 롯데홈쇼핑의 가상인간 ‘루시’ 제작을 총괄했으며 그의 팀은 지난해 말 ‘청아린’이라는 버튜버를 선보였다. 현재는 2호, 3호 버튜버 출시를 준비 중이다. 안 팀장은 “가상인간은 ‘20대가 가장 호감을 느끼는 얼굴 표본’처럼 실제로는 존재하지 않는 인물을 컴퓨터로 만들어 학습시킨다”며 “만일 같은 기술로 실존하는 정치인이나 연예인 등을 학습시켜 만든 가짜 인물을 통해 허위 정보를 유포하거나 특정인의 명예를 훼손하면 큰 문제가 된다”고 설명했다. 이 같은 우려는 지난달 미국에서 실제로 일어났다. 가수 테일러 스위프트를 딥페이크 기술로 합성한 음란 사진이 소셜미디어(SNS)에 유포됐다. 뉴햄프셔주 예비선거를 앞두고는 조 바이든 미국 대통령을 가장한 딥페이크 음성 전화가 유권자들에게 걸려 오기도 했다.딥페이크 콘텐츠를 탐지하는 ‘안티페이크’ AI도 존재한다. 학습 데이터에 눈에는 보이지 않는 ‘디지털 표지’를 붙여 AI가 콘텐츠를 만들 때 드러나게 하는 ‘워터마크’ 기술도 주목받고 있다. 다만 안 팀장은 “이런 기술처럼 딥페이크 기술도 빠르게 발전하는 게 문제”라고 지적했다. 가상인간을 만드는 딥페이크 전문가는 허위 영상을 판별하는 요령을 알지 않을까. 안 팀장은 “가상인간을 만들 때 말소리와 입모양을 일치(싱크)시키는 작업이 가장 어렵다”면서 “조악한 영상들은 입모양을 자세히 보면 일반인도 구분할 수 있다”고 말했다. 또 “단어의 의미나 문장의 맥락에 맞는 표정이나 자연스러운 시선 처리도 구현하기 어려운 부분”이라면서 “이런 것들 중 하나라도 이상하다고 느껴진다면 가짜 영상임을 의심해볼 수 있다”고 말했다. 하지만 이런 요령도 시간이 지나면 소용이 없어질 가능성이 있다. 안 팀장은 “후반 보정 작업을 정교하게 여러 번 거치면 얼마든지 표가 나지 않게 만들 수 있다”며 “갈수록 정교해지는 결과물을 재학습한 더 강력한 AI 모델이 반드시 등장할 것”이라고 설명했다. 다만 “‘기술’의 문제를 해결할 수 있는 것은 역시 ‘기술’인 만큼 딥페이크의 문제도 우리 딥페이크 기술자들이 해결할 것”이라고 말했다.

경찰이 최근 윤석열 대통령이 등장하는 허위 조작 영상이 온라인에 유포된 것과 관련해 게시자를 특정하기 위한 강제수사에 나섰다. 조지호 서울경찰청장은 26일 기자간담회에서 “영상을 올린 것으로 보이는 아이디를 확보했고, 해당 아이디로 개인을 특정하기 위한 압수수색을 집행했다”며 “당사자가 어떤 의도로 구체적 행위를 했는지 수사할 것”이라고 밝혔다. 지난해 11월부터 틱톡과 메타 등 소셜미디어(SNS)에는 ‘가상으로 꾸며 본 윤 대통령 양심고백 연설’이라는 제목의 46초짜리 영상이 확산됐다. 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”며 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. 이달 초 국민의힘이 영상을 올린 성명 불상자를 명예훼손 혐의로 고발하자 서울경찰청 사이버수사대가 수사에 착수했다. 경찰이 최근 방송통신심의위원회에 관련 게시글의 삭제와 차단을 요청했고 방심위는 지난 23일 영상에 대한 접속을 차단했다. 해당 영상에 대해 당초 딥페이크(AI로 만든 영상·이미지 합성 조작물)라는 추측이 제기됐으나 2022년 2월 윤 대통령이 대선 후보이던 시절 진행한 TV 연설 장면을 짜깁기한 것이라는 분석이 나왔다.

경찰이 최근 윤석열 대통령이 등장하는 허위 조작 영상이 온라인에 유포된 것과 관련해 게시자를 특정하기 위한 강제 수사에 나섰다. 조지호 서울경찰청장은 26일 기자간담회에서 “영상을 올린 것으로 보이는 아이디를 확보했고, 해당 아이디로 개인을 특정하기 위한 압수수색을 집행했다”며 “당사자가 어떤 의도로 구체적 행위를 했는지 수사할 것”이라고 밝혔다. 앞서 지난해 11월부터 틱톡과 메타 등 소셜미디어(SNS)에는 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’이라는 제목의 46초짜리 영상이 확산됐다. 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”면서 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. 이달 초 국민의힘이 영상을 올린 성명 불상자를 정보통신망법상 명예훼손 혐의로 고발하자 서울경찰청 사이버수사대가 수사에 착수했다. 경찰이 최근 방송통신심의위원회에 공문을 보내 관련 게시글의 삭제와 차단을 요청했고 방심위는 지난 23일 해당 영상에 대한 접속을 차단했다. 해당 영상은 당초 딥페이크(AI로 만든 영상·이미지 합성 조작물)라는 추측이 제기됐으나, 2022년 2월 윤 대통령이 대선후보였던 시절 진행한 TV 연설 장면을 짜깁기한 것이라는 분석이 나왔다. 조 청장은 경찰의 자의적인 수사가 아니냐는 지적에 대해 “경찰이 마음대로 강제 수사할 수 있는 것도 아니고, 수사 결과도 검찰에서의 과정이 있고, 유죄로 판단하는 것은 법원”이라며 “자의성을 갖고 (수사)하지는 않을 것”이라고 강조했다.

조지호 서울경찰청장은 최근 온라인상에서 유포된 윤석열 대통령 모습이 등장하는 허위 조작 영상에 대해 “오늘 아이디로 개인을 특정하는 압수수색을 할 것”이라고 26일 밝혔다. 조 청장은 이날 정례 기자간담회에서 “영상을 올린 것으로 보이는 아이디를 확보했다”며 “당사자가 어떤 의도로 어떤 구체적 행위를 했는지 수사할 것”이라며 이같이 밝혔다. 앞서 지난해 연말부터 틱톡과 메타 등 소셜미디어(SNS)에는 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’이라는 제목의 동영상이 급속하게 퍼졌다. 46초 분량의 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”며 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. 이어 “윤석열 정부는 말로는 서민을 위한다고 하지만 무능과 부패로 자영업자와 소상공인 그리고 집 없는 서민들을 절망에 몰아넣었다”면서 “저 윤석열의 사전에 정치 보복은 있어도 민생은 없다”며 연설을 끝맺는다. 해당 영상은 당초 ‘딥페이크’(Deepfake·AI로 만든 영상·이미지 합성 기술)로 알려졌으나 기술적으로 확인한 결과 지난 2022년 2월 윤 대통령이 대선후보였던 시절 진행한 TV연설 장면을 짜깁기한 것으로 확인됐다. 경찰은 최근 방송통신심의위원회에 공문을 보내 관련 게시글의 삭제 및 차단을 요청했다. 이어 방심위는 지난 23일 이들 영상에 대한 차단 조치를 만장일치로 의결했다. 앞서 경찰은 지난해 12월 개정된 딥페이크 선거운동을 금지한 공직선거법까지 거론하며 수사 범위를 확대할 수도 있다는 취지로 말했지만, 고발 당사자가 정보통신망법상 명예훼손으로만 고발한 것으로 알려져 우선 관련 혐의에 대해 조사한다는 입장인 것으로 알려졌다. 조 청장은 “(경찰이) 자의성을 갖고 (수사)하지는 않을 것”이라면서 “경찰이 인위적으로 마음대로 강제 수사할 수 있는 것도 아니고 수사 결과도 경찰이 송치하면 검찰에서의 과정이 있고 유죄로 판단하는 것은 법원”이라고 강조했다.

방송통신심의위원회가 23일 긴급 통신심의소위원회를 열어 윤석열 대통령과 관련한 짜깁기 영상을 차단하기로 의결했다. 방심위는 향후 이와 유사한 허위 영상에 대해서는 긴급 차단 조치에 나선다는 방침이다. 이날 방심위는 경찰이 전날 삭제·차단을 요청해온 윤 대통령 관련 조작 영상 23개를 ‘현저한 사회 혼란을 일으킬 우려가 있는 영상’으로 판단하고 소셜네트워크서비스(SNS)에서 차단하는 결정을 만장일치로 의결했다. 이를 위해 인스타그램과 페이스북, 틱톡 등의 플랫폼에 차단 조치를 요청했다. 해당 영상은 인공지능(AI)으로 만든 딥페이크(Deepfake·영상·이미지 합성 조작물)가 아닌 2022년 2월 대선 과정에서 윤 대통령이 했던 TV연설 장면을 편집해 제한 것으로 파악됐다. 이 영상의 제목은 ‘가상으로 꾸며본 윤 대통령 양심고백연설’로, 44초 분량의 해당 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”며 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”라고 말하는 장면이 담겼다. 방심위는 실제 영상을 이용해 만든 해당 게시물을 일반 국민이 윤 대통령이 한 실제 발언으로 오인하게 할 우려가 큰 것으로 보고 신고 접수 하루 만에 긴급 차단 조치를 하게 됐다고 설명했다. 일각에서는 게시자가 ‘가상으로 꾸몄다’라고 밝힌 영상인 만큼 정치적 풍자로 볼 수 있다는 주장도 나온다. 경찰은 해당 영상과 게시글이 허위 사실 적시에 의한 명예훼손에 해당한다고 보고 차단을 요청한 바 있다.

“저 윤석열, 국민을 괴롭히는 법을 집행해온 사람입니다. 저 윤석열의 사전에 정치 보복은 있어도 민생은 없습니다” ‘윤석열 대통령 양심고백 영상’이란 제목으로 ‘가짜’ 윤석열 대통령 딥페이크(Deepfake·AI로 만든 이미지 영상 합성 기술) 영상물이 소셜미디어(SNS)에서 확산하자 경찰이 22일 방송통신심의위원회에 차단을 요청한 것으로 확인됐다. 방심위는 해당 영상을 ‘대통령을 이용해 사회적 혼란을 일으킬 수 있는 국내 첫 딥페이크물’로 판단하고 긴급 심의에 착수했다. 서울경찰청은 최근 방심위에 공문을 보내 틱톡과 메타 등에 올라온 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’ 딥페이크 게시글의 삭제와 차단을 요청했다. 근거 조항은 방송통신위원회의 설치 및 운영에 관한 법률, 정보통신망 이용촉진 및 정보보호 등에 관한 법률, 정보통신에 관한 심의 규정이다. 경찰은 “같은 URL 주소를 통해 틱톡, 인스타, 페이스북 사이트 계정을 사용하는 회원이 문제의 영상 등을 게시한 것으로 확인돼 삭제·차단을 요청한다”고 밝혔다. 방심위는 해당 내용을 접수하고 오는 23일 긴급 통신 심의소위원회를 열어 해당 안건을 심의한 뒤 바로 삭제 및 차단 조치를 할 것으로 알려졌다.46초 분량의 영상 속 윤석열 대통령은 “존경하는 국민 여러분. 저 윤석열, 국민을 괴롭히는 법을 집행해온 사람이다. 무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”라고 말한다. 이어 “저 윤석열, 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”며 “윤석열 정부는 말로는 서민을 위한다고 하지만 무능과 부패로 자영업자와 소상공인 그리고 집 없는 서민들을 절망에 몰아넣었다”고 말했다. 그러면서 “저 윤석열의 사전에 정치 보복은 있어도 민생은 없다. 감사하다”며 연설을 끝맺는다. 이날 오후 4시 현재 틱톡에서 ‘윤석열 양심’을 검색하면 같은 게시글이 5개가량 검색된다. 영상 댓글에는 “이건 윤석열이 아니다”, “이거 만든 사람 처벌해야 한다”는 부정적 반응과 반대로 “정말 저렇게 인정하면 좋으련만”, “가짜가 진짜보다 좋다” 등의 반대 반응도 달렸다. 앞서 2022년에도 지방선거를 앞두고 윤 대통령이 당시 국민의힘 박영일 남해군수 후보를 지지하는 가짜 영상이 SNS를 통해 확산하면서 정치적 논란이 됐었다. 한편, 중앙선거관리위원회(선관위)에 따르면 지난달 29일부터 지난 16일까지 19일간 유권자를 상대로 딥페이크를 이용한 선거 운동 행위로 공직선거법을 위반한 게시물은 129건에 달했다.

인공지능(AI)으로 만든 가짜 영상과 음성, 사진 등 딥페이크 저작물로 인한 폐해가 전 세계적으로 거세다. 특히 우리나라와 미국을 비롯해 올해 선거를 치르는 국가가 76개국에 달하면서 딥페이크 허위 조작 정보가 여론을 호도해 민주주의를 위협할 수 있다는 우려가 크다. 구글, 오픈AI, 마이크로소프트 등 글로벌 빅테크 기업 20곳이 최근 독일 뮌헨안보회의에서 유권자를 속이는 ‘선거 딥페이크’에 공동 대응한다는 협약을 발표한 것도 상황이 그만큼 심각하다는 방증이다. 챗GPT 등장 이후 상상을 초월하는 속도로 빠르게 진화하는 AI 기술을 올바르게 활용하는 방안은 무엇일까. 김명주 서울여대 바른AI연구센터장(정보보호학부 교수)은 “AI 악용과 오남용을 막는 법과 규제는 꼭 필요하지만 사후적 성격이어서 한계가 있다”며 “안전하고 신뢰할 수 있는 AI 윤리에 대한 공론화가 중요하다”고 했다. 2018년 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만드는 등 국내 AI 윤리 연구를 선도해 온 그를 지난 13일 인터뷰했다.-딥페이크 악용으로 선거의 공정성이 훼손되고 민주주의가 혼란에 빠질 수 있다는 경고음이 커지고 있다. “지난달 미국 뉴햄프셔주 예비 경선을 앞두고 조 바이든 미국 대통령의 목소리를 흉내 낸 가짜 전화가 민주당 당원들에게 돌아 충격을 줬다. 지난해 5월 튀르키예 대선에선 테러 집단이 야당 후보를 지지하는 내용의 딥페이크 영상이 유포돼 결과적으로 집권당 승리에 도움을 줬다. 딥페이크 선거운동에 대한 우려가 현실로 드러난 단적인 사례들이다. 사실에 기반한 유권자의 투표 행위라는 선거의 기본적 신뢰를 무너뜨리는 것으로, 민주주의를 흔드는 매우 심각한 위험이다.” -우리나라는 4월 총선을 앞두고 지난해 말 공직선거법을 개정해 선거 90일 전부터 딥페이크를 활용한 선거운동을 전면 금지했는데. “여야가 합의해서 선거에 AI를 사용하지 않기로 했지만 열성 지지자들이 개인적으로 제작해 유포하는 것까지 원천적으로 차단할 수는 없다. 중앙선거관리위원회가 전담팀을 구성해 단속하고 있으나 딥페이크 저작물 생성에 수분밖에 걸리지 않고 소셜미디어(SNS) 등을 통해 퍼지는 속도가 워낙 빠르기 때문에 현실적으로 대응하기가 쉽지 않다. 선거 하루 이틀 전이 가장 위험하다. 선관위가 딥페이크 여부를 확인하기 전에 투표가 끝나 버리는 상황을 노리고 상대 후보에게 타격을 주는 가짜 정보를 마구잡이로 퍼뜨릴 가능성이 높다. 가짜뉴스가 중도층의결정에 영향을 미쳐 선거판을 흔들 수 있다.” 선관위에 따르면 지난달 29일부터 지난 16일까지 적발된 딥페이크 게시물은 129건이었다. 딥페이크 선거 운동 금지법을 위반하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다. 선관위 전담 인력 70여명이 3단계에 걸쳐 딥페이크 감별과 분석, 삭제 조치 등을 맡고 있다. -해외의 딥페이크 규제는 어떤가. “미국은 지난해 10월 바이든 행정부 주도로 AI로 만든 음성, 사진, 영상물에 의무적으로 워터마크(식별표시)를 부착하는 행정명령을 발표했다. 유럽연합(EU) 회원국이 이달 초 합의한 AI 규제법에도 AI 생성 표시를 의무화하는 내용이 포함돼 있다. 이 법은 2년 유예를 거쳐 2026년부터 시행된다. 글로벌 빅테크 기업들도 이런 흐름에 동참하고 있다. 다만 미국, EU를 제외한 국가 또는 중소 AI 기업은 법과 규제의 적용을 피할 수 있어 실효성이 떨어질 우려가 있다. 누구나 AI 허위 조작물을 만들 수 있을 정도로 딥페이크 기술이 대중화됐다. 규제를 너무 강하게 하면 그 규제를 따라가지 못하는 이들이 음지로 숨어 버려 부작용이 커지는 역효과가 날 수 있다. 규제의 적절한 기준을 도출하는 것이 중요하다.” -국내 AI 관련 법·규제 현황은. “과학기술정보통신부가 추진하는 AI 기본법(AI 산업 육성 및 신뢰 기반 조성에 관한 법률안)이 국회에 계류 중이다. 지난해 2월 과학기술정보방송통신위원회 법안소위를 통과했지만 시민단체가 반대해 멈춰 선 상태다. EU의 AI 규제법은 처음부터 만들지 말아야 하는 AI 금지 항목을 명확하게 규정하고 있는 것과 달리 우리는 AI 산업 진흥을 앞세워 규제가 느슨하다는 이유에서다. 챗GPT 등장 이후 규제론이 힘을 얻고 있는데 AI 기본법에 이를 반영해야 한다는 의견이 제기되면서 합의가 미뤄지고 있다. 미국과 유럽은 글로벌 AI 규제 주도권 경쟁이 한창이다. 지난해 11월 영국 런던에서 처음 개최된 ‘AI 안전 정상회의’의 후속 회의가 오는 5월 서울에서 열린다. 이를 계기로 우리도 글로벌 규제에 적극 대비해야 한다.” -지난해 11월 오픈AI의 샘 올트먼 CEO 사퇴 소동이 화제였다. AI 개발론자와 규제론자의 갈등이 극적으로 표출된 사건으로 주목받았는데. “오픈AI가 챗GPT를 출시했을 때 구글은 그보다 성능이 뛰어난 생성형 AI 기술을 개발한 상태였다. 다만 잠재적 위험을 제거할 수 있는 방안을 찾기 전까지 공개하지 않는다는 원칙을 지켰다. 그러나 이사진 요구에 떠밀려 바드를 출시했고 생성형 AI 개발 경쟁이 불붙었다. 그러나 AI의 급격한 발전으로 인한 부작용이 커지면서 규제론이 부상했다. AI 기술은 비가역적이다. 일단 세상에 나온 신기술은 되돌릴 수 없다. 시작 단계부터 올바른 발전 방향을 고민하고 사회적 담론을 형성하는 것이 중요하다. 오픈AI 사태로 AI 윤리에 대한 관심이 커진 것은 다행이다.” -법으로 규제하면 되는데 AI 윤리가 왜 필요한가. “법은 사후적 성격이고 정해진 조건에서만 적용되는 한계가 있다. 또한 AI 기술 발전 속도는 다른 기술보다 월등하게 빨라서 현실적으로 법이 기술의 발전 속도를 따라갈 수가 없다. 법보다는 윤리로 선제 대응해야 한다. AI는 스스로 학습할 수 있지만 윤리적 판단은 못 한다. AI에 양심이라는 코드를 넣어 준 적이 없기 때문이다. 결국 양심을 가진 사람이 AI를 잘 만들어 올바로 이용하고, 그에 따르는 책임을 져야 한다. AI 윤리가 중요한 이유다.” -AI 윤리의 핵심 원칙은. “투명성, 통제성, 책무성, 공공성 등을 꼽을 수 있다. AI의 행동과 판단 배경, 위험 가능성에 관한 정보가 투명하게 제공돼야 하고 모든 상황에서 언제든 인간이 개입해 통제할 수 있어야 한다. 또한 AI 기술이 사회와 개인에 부정적인 영향을 끼칠 경우 책임을 묻는 책무성도 기본이다. ” -AI 기술을 잘 활용하려면 어떻게 해야 하나. “비판적 시각을 갖는 게 중요하다. 이 세상에 완전한 기술은 없다. 첨단 기술이 나오면 ‘유용하기만 할까’, ‘조심해야 할 건 뭘까’ 등 질문을 해야 한다. 자신의 관점에서 기술을 소화하는 능력도 필요하다. AI 기술이 얼마나 위험한지 아무도 모른다. 누군가 문제를 발견하면 공론화하는 과정이 필요하다. 그래야 시행착오를 줄일 수 있다. AI 기술은 피할 수 없다. 그렇다면 악용이나 오남용하지 않고 목적에 맞게 잘 활용하는 방안을 지속적으로 고민해야 한다.” ● 김명주 센터장은 서울대 컴퓨터공학과 석·박사. 한국인터넷윤리학회 회장 역임. 2018년 국내 최초로 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만든 공로로 근정포장 훈장 수상. 2019년 바른AI연구센터 설립. 현 인공지능윤리정책포럼 위원장, OECD 글로벌AI협의체 전문가. 저서 ‘AI는 양심이 없다’(2022).

중앙선거관리위원회가 오는 4월 총선을 앞두고 공직선거법상 위법 사항인 인공지능(AI)을 활용한 ‘딥페이크’ 불법 게시물을 22일 만에 129건이나 적발했다. 상대당 후보가 참석하지도 않은 행사에 참석한 듯 이미지를 합성하는 등 특정 정치인의 이미지를 왜곡하거나 조롱하는 영상물로 모두 삭제했다고 한다. 선거가 가까워질수록 이런 불법 선거물이 넘쳐날 판이니 대책 마련이 시급해 보인다. 딥페이크 영상 등은 AI 기술 등으로 만들어 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등이다. 공직선거법 개정에 따라 지난달 29일부터 이런 딥페이크물은 제작·편집·유포·상영·게시할 수 없다. 위반하면 7년 이하 징역이나 최고 5000만원의 벌금형에 처한다. AI 기술로 만든 가상의 영상물이라고 표시를 하더라도 허위사실이 포함된 경우에는 허위사실 공표죄로 처벌한다지만 위해성을 감안하면 미흡한 대책이다. 선관위는 반복적이고 악의적인 딥페이크물은 고발 조치 등 강력 대응해야 한다. 이런 불법 게시물은 삭제하더라도 삭제하기 전에 본 유권자들에게 특정 정당과 정치인에 대한 왜곡되거나 편향된 인식을 심어 주고 유권자의 정확한 판단을 흐리게 한다. 포털 업체와 정치권의 협조도 필요하다. 선관위에서 AI 전담 조직을 꾸려 모니터링을 강화한다지만 모든 딥페이크물을 적발하기란 힘든 일이다. 포털 업체가 선관위의 삭제 요청에 앞서 스스로 이런 딥페이크물을 걸러 내는 시스템을 갖춰야 한다. 정치권은 딥페이크를 활용한 불법 선거물을 제작, 유포하는 정치인은 공직선거에 입후보할 자격을 박탈하는 등 AI 선거의 해악을 최소화할 방안을 모색해야 한다. 유권자의 눈과 귀를 흐리는 선거는 정치에 대한 불신감만 키울 것이다.

전 세계적으로 인공지능(AI) 기술을 활용한 딥페이크 저작물이 쏟아지는 가운데 우리나라도 주요 선진국처럼 규제 입법 논의를 서둘러야 한다는 지적이 나온다. 딥페이크가 ‘민주주의의 주적(主敵)’으로 부상한 지 오래지만 국회에 발의된 건 소위 ‘made by AI’(인공지능이 만든 저작물) 표기 의무화 법안 4건뿐이다. 이마저도 무관심 속에 오는 4월 폐기될 것으로 전망된다. ‘made by AI’ 표기 의무화여야 무관심 속 무산될 듯 19일 국회 의안정보시스템에 따르면 김승수 국민의힘 의원이 지난해 12월 대표 발의한 정보통신망법 개정안에는 딥페이크 등 AI 기술을 이용해 만든 가상의 정보를 온라인에 게시할 때 ‘워터마크’(식별표시)를 의무화하는 내용이 담겼다. 어기면 1000만원 이하의 과태료를 부과하고 해당 영상을 삭제할 수 있다. 배현진 국민의힘 의원도 2022년 1월 발의한 정보통신망법 개정안에서 딥페이크 영상에 워터마크를 부착하는 것을 의무화했다. 또 당사자 의사에 반해 AI 기술로 딥페이크 영상(음성·이미지 포함)을 만들 경우 당사자가 삭제를 요청할 수 있게 했다. 박성중 국민의힘 의원과 이상헌 더불어민주당 의원도 비슷한 내용으로 각각 정보통신망법 개정안(2023년 11월)과 콘텐츠산업진흥법 개정안(2023년 5월)을 내놓았다.규제 탓 AI 발전 저해 우려“표기 의무 범위 적절해야” 하지만 이번 국회에서 4개 법안의 법제화는 쉽지 않아 보인다. 여야 모두 총선 국면으로 진입하면서 논의는커녕 관심조차 두지 않고 있기 때문이다. 정부 역시 콘텐츠 제작자의 책임성을 강화하는 해당 법안들의 취지에는 공감하지만 AI 산업 성장을 저해할 수 있다는 업계 의견도 있어 신중히 검토해야 한다는 입장이다. 또 이 법안들은 사람 눈에 보이지 않는 컴퓨터용 식별번호인 ‘AI 워터마크’를 의무화하면 원칙적으로 딥페이크 예방이 가능하다는 취지를 담고 있다. 하지만 기술적으로 볼 때 선결 과제가 적지 않다. 우선 현재 오픈AI, 구글, 메타 등이 각자의 워터마크를 표시하겠다는 계획을 밝힌 상태다. 결국은 텍스트, 이미지, 오디오, 동영상 등 모든 콘텐츠에 적용할 수 있고 모든 창작자가 쉽게 사용할 전 세계 기술 표준이 필요하다. 특히 현 상황에서 AI 기술로 AI 워터마크를 우회해 무력화하는 것도 가능하다. 모든 개인 창작자가 워터마크를 표시하라는 규제를 따를지도 의문이다. 이에 워터마크를 쓰지 않는 ‘딥페이크 애플리케이션’을 대형 앱스토어에 올리지 못하도록 해야 한다는 지적도 나온다. 우리나라는 현재 중앙선거관리위원회가 지난해 12월 통과된 공직선거법에 따라 선거 기간 집중적으로 선거운동이나 여론 조작, 국론 분열 등을 의도하는 딥페이크 영상을 규제한다. 누구든지 선거 90일 전(22대 총선 기준 1월 29일)부터 선거운동을 위해 딥페이크 영상·음향·이미지 등을 제작·편집·유포·상영·게시할 수 없다. 또 인터넷에 이미 게시된 딥페이크 영상도 선거 90일 전까지 삭제해야 한다. 위법 기간 전이라도 선거운동으로 딥페이크 영상을 제작·편집·유포·상영·게시한다면 전체 화면의 10분의1 크기로 ‘이 영상은 실제가 아닌 AI 기술 등을 이용해 만든 가상의 정보’라는 문구를 표시해야 한다. 선관위에 따르면 법안에 따른 규제 기간이 아니어도 딥페이크 영상을 아무런 표시 없이 누군가를 당선시킬 목적으로 제작·유포하면 5년 이하의 징역 또는 5000만원 이하의 벌금에 처한다. 또 누군가를 낙선시킬 목적으로 제작·유포하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금에 처한다. 美바이든 AI 생성물 규제구글 등 20곳 연합군 결성 주요 선진국들은 딥페이크 관련 규제를 속속 도입하고 있다. 조 바이든 미국 대통령은 지난해 첫 AI 행정명령에 서명해 AI 생성물 여부를 구분할 수 있도록 했다. 팝가수 테일러 스위프트의 얼굴과 음란물을 합성한 AI 가짜 이미지가 소셜미디어(SNS)에 퍼지며 전 세계에 파문을 일으킨 뒤 백악관이 직접 나서 규제 강화 필요성을 강조하면서 입법을 촉구했다. 애리조나주 공화당 의원들은 공직 후보자나 주민이 자신을 사칭한 가짜 디지털 콘텐츠를 게시한 사람에게 손해배상을 청구할 수 있도록 하는 법안을 제출했다. 최근 구글과 오픈AI 등 글로벌 빅테크 기업 20곳이 독일 뮌헨안보회의(MSC)에서 ‘딥페이크와의 전쟁’을 목표로 연합군을 결성한 것 역시 주목할 만하다. 반면 총선을 앞두고 영향력이 큰 네이버와 카카오 등 국내 포털의 경우 사전 필터링이 아니라 선관위가 판단해 삭제 요청을 하는 딥페이크 저작물에만 대응하는 소극적 후속 조치를 할 뿐이다. 이대희 고려대 법학전문대학원 교수는 “AI 생성물임을 표기하는 것은 이용자를 속이거나 개인 프라이버시를 침해하는 것을 방지하는 긍정적 역할을 하며 원칙적으로는 당연히 필요한 부분”이라면서 “다만 AI 생성물임을 적합하게 표기하도록 하려면 표기 의무 범위를 적절하게 정해 줘야 한다”고 제언했다.

“선관위, 영상 확인에 최소 하루선거 전날 유포 땐 대응 어려워”“딥페이크 저작물 엄격한 관리기술 발전 막는 방향은 안 돼” 중앙선거관리위원회 ‘딥페이크 특별대응 모니터링반’이 그간 129건의 정치·선거 관련 딥페이크 저작물을 걸러낸 것으로 확인된 가운데 전문가들은 네이버, 카카오 같은 대형 플랫폼이 선제적으로 딥페이크를 적발·차단해야 한다고 지적했다. 특히 딥페이크를 이용한 북한의 선거 개입 가능성에 대비하자는 제언도 있었다. 김명주 서울여대 바른AI연구센터장은 19일 통화에서 “(선관위가) 딥페이크 여부를 확인하는 데 최소 하루 이상이 걸린다”며 “열성 지지자가 선거 하루 전에 상대 후보에게 불리한 딥페이크 저작물을 유포한다면 현재 선관위 인력으로는 이에 대응하기 힘들 것”이라고 평가했다. 이어 “(딥페이크가 실제와) 똑같지는 않지만 비슷한 정도는 되니 유권자들이 (딥페이크 저작물을 보고) 원하는 대로 해석할 가능성이 크다”고 덧붙였다. 국가기관인 선관위로서는 딥페이크 저작물을 적발했을 때 포털에 의뢰해 삭제할 콘텐츠인지, 법적 처벌을 의뢰할 저작물인지를 신중하게 판단해야 하지만 온라인의 빠른 콘텐츠 확산 속도를 감안할 때 이미 딥페이크 소비가 끝났을 수 있다. 특히 ‘리페이스’와 같은 애플리케이션을 사용해 딥페이크 사진을 만드는 데 걸리는 시간은 1~2분, 영상도 5분이면 제작이 가능해 물량 공세에 맞닥뜨릴 수 있다. 이성엽 고려대 기술경영전문대학원 교수는 “역정보나 허위 정보를 퍼뜨린다는 면에서 페이크 영상 같은 것을 북한에서 만들어 유포할 가능성도 배제하기 힘들다”며 “딥페이크를 감지하고 플랫폼에서 차단하는 방식으로 규제가 이뤄져야 한다”고 말했다. 총선 앞 국론 분열을 노린 북한이 딥페이크 영상을 유포하며 공격에 나설 수 있다는 의미다. 영국 옥스퍼드대는 북한에 대해 3개 이상의 국가기관이 소셜미디어(SNS) 여론 조작에 개입하는 것으로 평가한 바 있다. 네이버나 카카오 등 대형 플랫폼의 자체 딥페이크 적발을 위해서는 딥페이크 탐지·삭제, 계정 차단, 사이트 차단 등의 권한을 쥔 공공부문과 협업해야 한다는 제언도 있다. 딥페이크 민관 태스크포스(TF)를 구축하는 방식이다. 다만 장병탁 서울대 AI연구원장은 “똑같은 칼로 요리할 건지, 수술할 건지, 사람을 다치게 하는 데 쓸 건지를 정하는 상황”이라며 “칼 자체를 개발하지 못하도록 하면 요리 발전, 수술 발전에 도움이 되지 않는다”고 말했다. 엄격한 판단을 통해 딥페이크 저작물을 처리해야지, 딥페이크 생산 자체를 근본 차단해 기술 발전을 막아서는 안 된다는 의미다.