하루가 다르게 발전하는 인공지능(AI)기술, 원래의 기술 목적보다 악용되는 사례가 많은 딥페이크 기술로 중국 전역을 감동시킨 남성이 있다. 9일 중국 CCTV 방송에서는 랴오닝성(省) 푸순에 거주하고 있는 순 씨의 사연을 소개했다. 이 남성은 어머님에게 보내는 안부 영상을 올렸고 짧은 영상에도 말을 제대로 잇지 못하고 눈물을 쏟았다. 알고 보니 이 남성이 찍은 영상의 모습은 본인이 아닌 자신의 아버지였다. 순 씨가 이런 영상을 찍을 수밖에 없던 이유는 연로하신 할머니 때문이다. 지난 2022년 순 씨의 아버지는 충수암에 확진되었다. 발견했을 당시 이미 암 말기 판정을 받았고 병을 고치기 위해 여러 병원을 찾았지만 결국 암 진단 1년 만인 2023년 세상을 떠났다. 당시 중국은 강력한 제로 코로나 정책을 시행하고 있었기 때문에 할머니와 아버지는 오랫동안 만나지 못한 상태였다.아들에게 각별한 감정을 갖고 있던 할머니는 지금까지도 계속 순 씨에게 연락하며 아버지와의 통화를 원했다. 올해로 91세 연로하신 할머니가 충격을 받으실까 봐 가족들은 지금까지 아버지의 죽음을 비밀로 하고 있었기 때문이다. 이런저런 핑계를 대며 할머니와의 통화를 피하던 순 씨는 할머니를 안심시키기 위해 AI 기술을 이용해 아버지의 모습을 하기로 마음먹었다. 아버지처럼 하기 위해 길렀던 수염까지 밀고 AI 프로그램을 사용해 아버지의 모습으로 변했다. 영상 속 순 씨는 아버지가 ‘환생’한 듯 “어머님, 저 지하이(继海)입니다. 베이징에서 잘 살고 있어요…”라며 짧은 말을 남겼다. 순 씨가 사용한 프로그램이 고사양이 아니라서 화질이 좋지 않았지만 다행히 연로하신 할머니는 알아채지 못했다. 영상을 찍으면서 순 씨는 돌아가신 아버지의 빈자리를 느끼고, 아버지의 책임감을 느끼면서 과거의 아버지와 ‘이별’했다고 한다. 이 짧은 영상도 북받치는 감정을 추스르면서 보름 만에 완성했기 때문에 두 번째 영상을 찍을 수 있을지도 불분명하다. 또한 할머니가 연로하시기 때문에 언제까지 속일 수 있을지도 장담할 수 없지만 “좀 더 단단해지고 아버지처럼 가족들에게 정신적인 버팀목이 되겠다”라고 말했다. 이 뉴스를 접한 중국인들은 “나도 같이 울었다”, “이게 바로 기술 개발의 순기능이다”, “AI 진정한 의미다”, “아마도 이런 게 과학 기술 발전의 초심이 아니었을까?” 라며 감동했다.

본인이 직접 노래하는 것처럼 인공지능이 부른다면 어떤 기분이 들까? 최근 개그맨이자 가수인 박명수는 자신의 목소리를 학습한 ‘인공지능(AI) 박명수’가 부르는 ‘밤양갱’이라는 커버곡을 듣고는 깜짝 놀랐다. 그는 방송에서 “이 노래를 부른 적이 없다. 들어 보니 어쩜 이렇게 똑같나. 앞으로 우리 어떻게 해야 하나. 연예인들 어떻게 해야 돼” 하며 혀를 내둘렀다. 인공지능 기술 발달로 AI 커버가 주목받고 있다. 커버곡은 가수가 자기 노래가 아닌 다른 가수의 노래를 자신만의 스타일로 부르는 노래다. 인공지능 커버는 일반인이 박명수 같은 연예인이나 가수의 목소리 데이터를 학습한 인공지능 모델을 활용해 만든 노래다. 정교한 커버곡은 소셜미디어에서 수백만회 조회를 올릴 정도로 인기다. AI 커버곡 제작을 전문으로 하는 채널들이 있을 정도로 새로운 음악시장을 형성하고 있다. 인공지능 커버 시장이 커질수록 법적 분쟁도 늘어날 전망이다. 저작권법엔 AI 커버 제작에 사용된 원 노래의 저작권과 목소리 주인공의 저작인접권 침해에 대한 별도 규정이 없다. 커버 인기가 노래 홍보를 뛰어넘는 단계로 옮아가면 분쟁은 불가피할 것이다. 이 때문에 한국음악저작권협회는 AI 활용 표시 의무를 담은 콘텐츠산업진흥법 개정을 촉구하고 있다. AI 커버곡 제작자들은 자신들의 행위가 공익성을 가지며 인공지능 산업 발전에도 기여한다고 한다. 저작권법은 공익을 위한 저작물의 사용과 복제를 저작권 침해가 아닌 공정이용으로 본다. 최근 미국의 뉴욕타임스가 자사 기사를 무단 사용했다며 오픈AI를 상대로 낸 저작권 침해 소송에 오픈AI는 이 공정이용 조항을 들먹이며 반박했다. 하지만 가치 있고 신뢰도 있는 데이터를 상업적으로 사용한다면 법적으로 문제될 수 있다. 법적 분쟁 못지않게 우려되는 건 이런 기술이 딥페이크 등 범죄에 악용될 수 있다는 점이다. 목소리 데이터가 쌓이면 쌓일수록 본인까지 깜짝 속을 정도의 딥보이스 기술이 적용된 콘텐츠는 확산될 것이다. 인공지능 기술 발달로 현실과 상상의 경계가 무너지고 있다. 인공지능이 삶의 질은 향상시키고 범죄에 악용되는 등의 부작용은 줄일 안전한 보안기술이 나오기를 바라 본다.

생성형 인공지능(AI) 등장 이후 빠른 속도로 기술이 발전하면서 인류와 AI의 공존이 화두로 떠올랐다. 모든 산업의 AI화를 넘어 일상에까지 침투해 온 AI를 그저 ‘반가운 손님’으로 맞이할 것인지 사람들이 묻기 시작한 것이다. AI가 인간의 통제를 벗어날지도 모른다는 두려움은 더 늦기 전에 기술 개발을 잠시 멈추자는 논의로 이어졌다. 스스로 의식을 가진 AI가 갑자기 깨어나서 인류를 멸망시킬 것인가. 서울신문은 ‘인간은 필요 없다’, ‘인공지능의 미래’ 등 베스트셀러 저자이자 미국 스탠퍼드대에서 AI의 사회·경제적 영향에 관해 강의하고 있는 인공지능학자 제리 캐플런(72) 박사에게 생성형 AI 이후 달라질 미래 모습에 대해 이메일을 통해 물었다. 그는 5일 “걱정하지 말라”며 “변화를 감당할 수 없을 만큼 상황이 너무 빠르게 진행되고 있지는 않다”고 말했다. 캐플런 박사는 최근 생성형 AI가 가져올 변화를 다룬 책에서도 “우리가 설계한 기계가 엉망이 돼 날뛰지 않도록 적절한 회로 차단기를 설치하면 된다”고 주장했다. “생성형 AI는 인간처럼 생각하지도 않고 인간과 같은 마음도 없다”는 그는 정체불명의 의인화된 AI는 현실에 없기 때문에 우리를 공격하지 않을 것이라고 했다. 다만 생성형 AI가 우리 삶의 거의 모든 걸 변화시키고 노동시장을 뒤흔들며 사회질서를 재편할 것이라고 봤다. 다음은 일문일답.#선거판 속 AI딥페이크, 스팸 메일처럼 심각사용금지·형사고발 이어질 것 -텍스트를 입력하면 알아서 동영상을 만들어 주는 AI 모델(소라·Sora)이 공개됐다. 기술 발전 속도가 너무 빠른 것 아닌가. “놀랍게도 기술 발전의 속도를 연구하는 경제학자들은 가까운 과거의 발전 속도가 실제로 이전보다 더 느리다는 사실을 발견했다. 예를 들어 당신이 1910년에 살고 있었다면 지난 20년 동안 자동차, 비행기, 녹음기 발명을 목격했을 것이다. 조금만 더 거슬러 올라가면 사진 발명도 있었다.” -대선을 앞둔 미국과 마찬가지로 한국은 4월 국회의원 선거를 앞두고 딥페이크 영상 게시물로 몸살을 앓고 있다. “딥페이크는 과거 스팸 메일과 마찬가지로 심각한 문제다. 간단히 말해 선거 등 중요한 상황에서 딥페이크 사용은 금지될 것이며 사용할 경우 형사 고발로 이어질 것이다. 또한 사람들은 그 문제에 대해 훨씬 더 많이 인식하게 될 것이고, (딥페이크 영상에 대해) 더욱 회의적으로 변할 것이다.” -AI 기술로 인한 일자리 변화는 막을 수 없을 것 같다. “그래픽 아티스트, 컴퓨터 프로그래머 등 일부 직업은 다른 직업보다 더 큰 영향을 받을 것이다. 그러나 이러한 직업에 종사하는 대부분의 사람들은 여전히 직업을 갖고 있을 것이고, 생성형 AI 시스템을 ‘지능형 비서’로 사용할 것이다. 과거 사진이 발명됐을 때 초상화가 등 화가라는 직업에 영향을 미쳤던 것만큼 극적인 변화는 아닐 것으로 본다.”#노동시장의 변화컴퓨터 관련 직업은 변화 예고AI 시스템에 업무 도움받을 것 -생성형 AI의 문제점 중 하나는 ‘할루시네이션’(환각 현상)이다. AI가 그럴듯한 오답을 내놓는 이 현상이 수년 내 해결될까. “실제로 AI가 우리가 기대하는 것보다 더 인간처럼 행동한다는 게 문제다. 이 문제는 여러 방식으로 제어가 될 것이다. 우선 가짜 정보를 만들어 내는 걸 방지하는 ‘내부 설정’ 작업과 함께 특정 목적에 맞게 훈련을 거칠 것이다. 둘째, 개발자들이 AI가 꾸며내지 않도록 지시하는 더 나은 방법을 찾을 것이다. 셋째, 대부분 시스템은 인간이 하는 것처럼 외부 소스를 통해 의심스러운 정보를 확인할 수 있을 것이다. 문제가 해결되지는 않아도 이 세 가지는 환각 문제를 크게 줄여 줄 것으로 본다.” -AI가 설계자의 의도나 예상과 다른 결과물을 내놓는다면 결과적으로 인간이 AI를 통제할 수 없다는 것 아닐까. 국제규범 마련이 시급하다는 의견도 있다. “국제규범은 도움이 되지 않을 것이다. 무엇이 허용되고, 그렇지 않은지를 AI 시스템이 더 잘 이해할 수 있게 훈련시켜야 한다. 이 시스템을 적절하게 통제할 수 없다면 굳이 특정한(위험한) 용도나 목적으로 사용하지는 않을 것이다. 우리는 온갖 위험한 도구를 만들고, 그 결과를 감수하며 살아간다. 자동차를 예로 들어 보자. 교통사고로 수많은 사람이 목숨을 잃지만 편리함 때문에 자동차를 이용한다. AI 시스템도 마찬가지 아닐까.” -생성형 AI의 등장으로 인간이 묻고 AI가 답하는 시대가 됐다. 우리는 어떤 역량을 더 발전시켜야 할까. “생성형 AI로 인해 사람들은 이전보다 감독자, 관리자에 가까워질 것이다. 이 새로운 기술은 사람들이 기계로부터 나은 결과를 얻어내는 데 전문가가 되게 해 줄 것이다. 스프레드시트(숫자 표에서 계산 기능을 수행하는 프로그램) 사용법을 아는 것과 다르지 않다. 기술을 더 잘 활용할 수 있는 사람이 이러한 기술을 갖지 못한 사람에 비해 더 높은 평가를 받게 될 거다.” -사람들이 AI에 감정적 애착을 느낄 수도 있을 것 같다. AI를 유일한 대화 상대이자 친구로 느끼게 되면 인간과의 관계 맺기가 왜곡되지 않을까. “저는 AI와 교제하는 걸 ‘정서적 포르노’(emotional pornography)라고 부른다. 우리를 이전보다 더 고독하게 만드는 동시에 외로움을 줄여 줄 수도 있다. 얼마나 모순인가.” #오답 말하는 AI기대보다 ‘인간처럼 행동’ 문제여러 설정·훈련 통해 제어될 것 -정서적 포르노라고 표현한 건 AI와 매우 강한 감정적 유대를 형성하면서 사람들이 혼란을 겪게 되고, 정상적인 인간관계가 붕괴될 수 있다는 뜻인가. “포르노는 사람들이 실제 사람들과 상호작용하는 대신 사진을 통해 만족을 얻도록 한다. 정서적 포르노도 비슷하다. 실제 사람들과 교제하지 않고 컴퓨터 프로그램과 상호작용하면서 (관계에 대한) 필요를 충족시킬 것이다. 그렇게 되면 인류와도 단절되는 것이다.” -AI 기술 발전으로 로봇이 많은 일을 대체하면 ‘사람은 도대체 뭔가’라는 질문에 직면할 것 같다. AI 시대 인간다움은 무엇이라고 생각하나. “인류는 아무데도 가지 않는다. 걱정할 필요가 없다. 오늘날 우리는 더이상 가구, 옷 등을 만드는 숙련된 장인을 필요로 하지 않지만 그러한 기술을 가진 사람은 과거에 비해 훨씬 더 존경받으며 가치를 인정받는다. 생성형 AI도 우리를 가장 인간답게 만드는 일에 집중할 수 있게 해 줄 것이다.” #저작권의 새 정의사진 첫 발명 때 저작권 미적용AI 결과물도 법 보호받게 될 것 -생성형 AI가 내놓은 결과물이 인간의 창작 활동을 대체하면서 저작권 정의를 바꿔야 한다는 주장도 나온다. “AI 프로그램의 결과물도 저작권 보호를 받을 수 있게 법률을 바꿀 필요가 있다. 사진이 발명됐을 당시 사진가가 한 일은 ‘버튼을 누르는 것’뿐이었기 때문에 사진은 저작권이 있는 것으로 여겨지지 않았다. 지금 생각하면 말도 안 되는 얘기 아닌가. 생성형 AI에도 같은 일이 일어날 거다. 생성형 AI로 최상의 결과를 얻을 수 있는 사람은 매우 숙련된 사람으로 간주되고, 그들의 작업은 저작권의 보호를 받을 것이다.” -챗GPT 등장 이후 세계는 AI 경쟁에 돌입해 자국의 언어와 문화를 접목한 AI 모델을 만들고 있다. 앞으로 AI 주권을 지키는 현상이 더욱 강화될 것으로 예상된다. ‘AI 민족주의’는 불가피한가. “그렇다. 하지만 좋은 일이라고 생각한다. 사람들은 그들의 가치와 문화를 반영하는 제품(AI 모델)을 원할 것이다. 현지 기업은 멀리 있는 글로벌 기업보다 이러한 요구 사항을 더 잘 식별할 가능성이 높다. 이를 가장 잘 수행하는 회사나 제품이 현지 시장 내 경쟁에서도 이길 것이다.” #제리 캐플런 박사는? 제리 캐플런 박사는 미국 실리콘밸리에서 여러 기술기업을 창업했던 현장형 전문가다. 인공지능(AI) 분야 벤처기업 ‘테크놀리지’(Teknowledge)를 비롯해 ‘고 코퍼레이션’, ‘온세일’ 등을 공동 설립했다. 그는 현장 경험을 살려 일흔이 넘은 나이에도 여전히 강단(스탠퍼드대 겸임강사)에 서며 저술 활동을 하고 있다. 지난달 생성형 AI에 관한 책(‘Generative Artificial Intelligence: What Everyone Needs to Know’)을 새로 냈다. 한국어판(‘제리 카플란 생성형 AI: 지금 우리에게 필요한 것들’)은 올 상반기 내 나올 예정이다.

딥페이크(Deepfake)로 영상 속 인물의 얼굴을 가상 인물로 바꾼 한 영상을 ‘딥페이크 탐지 소프트웨어’에 업로드해 분석하니 금세 ‘변조율’이 76.76%인 ‘가짜’ 영상으로 판독됐다. 합성 유형은 ‘얼굴 바꿔치기’라고 가려냈다. 경찰청 국가수사본부는 이처럼 딥페이크 영상을 탐지하는 기술을 개발해 범죄 단속에 활용한다고 5일 밝혔다. 경찰이 개발한 소프트웨어는 영상 길이 등에 따라 5~10분이면 딥페이크인지를 판별한다. 딥페이크는 딥러닝(Deep learning)과 가짜를 의미하는 페이크(Fake)의 합성어로, 기존 영상을 다른 영상에 겹쳐서 만들어 내는 AI 기술을 기반으로 이미지를 합성하는 기술이다. 갈수록 딥페이크 기술이 정교해지 가운데 맨눈으로 구분해내기 어려운 딥페이크 영상을 이 소프트웨어로 구분할 수 있을 것으로 기대된다. 해외에서도 마이크로소프트 등이 딥페이크를 탐지하는 기술을 개발했지만, 서양인 위주로 데이터를 쌓았기에 한국인 얼굴을 바꿔치기 한 영상은 탐지율이 상대적으로 떨어진다는 평가를 받았다. 경찰청이 도입한 소프트웨어는 한국인 데이터 100만점과 아시아 계열 인종 데이터 13만점 등을 포함한 인물 5400명의 데이터 520만점을 학습한 결과, 탐지율 정확도가 80%에 달하는 것으로 분석됐다. 경찰은 총선을 앞두고 딥페이크로 가짜 영상을 만들어 허위 정보를 퍼뜨리거나 성 착취물을 만드는 범죄를 수사하는 데 소프트웨어를 활용할 계획이다. 공직선거법에 따라 딥페이크를 활용한 선거운동은 선거일 90일 전부터 선거일까지 전면 금지된다. 그러나 딥페이크 영상인지만을 따지기에 이 소프트웨어만으로는 모든 허위 영상을 구분해낼 수는 없다. 최근 소셜네트워크서비스(SNS)에서 퍼진 윤석열 대통령의 ‘가짜 양심고백 연설’ 동영상은 실제로 존재하는 영상을 짜깁기 한 것이기에 이 소프트웨어는 해당 영상을 ‘진짜’라고 판단했다. 경찰은 소프트웨어의 신뢰도가 100%가 아니기에 증거자료로 쓰기보다는 수사 방향을 정하는 참고자료로 활용하겠다는 계획이다. 국수본 관계자는 “딥페이크 이용 여부가 의심될 때 빠른 분석과 결과 확인을 거쳐 적극적으로 수사할 수 있을 것”이라며 “향후 더욱 정확한 탐지가 이뤄지도록 소프트웨어를 고도화하고 선거범죄, 합성 성착취물 범죄 외에도 딥페이크를 이용한 다양한 범죄에 능동적으로 대처해 나가겠다”고 말했다.

“딥페이크가 의심되면 이미지의 입과 눈을 주의 깊게 보세요. 우리가 가상인간을 만들 때 가장 어려운 부분이 역으로 딥페이크의 허점이 될 수 있습니다.” 인공지능(AI) 영상기술 전문기업 포바이포에서 버추얼유튜버(버튜버, V튜버) 태스크포스(TF)를 이끄는 안찬용(36) 팀장의 전공 분야인 가상인간을 바로 딥페이크 기술로 만든다. 딥페이크는 ‘딥러닝’과 ‘가짜’(fake)의 합성어로, 실제 인물의 이미지나 영상, 음성을 학습한 AI를 이용, 현실과 흡사한 가짜를 만들어 내는 기술이다. 그는 롯데홈쇼핑의 가상인간 ‘루시’ 제작을 총괄했으며 그의 팀은 지난해 말 ‘청아린’이라는 버튜버를 선보였다. 현재는 2호, 3호 버튜버 출시를 준비 중이다. 안 팀장은 “가상인간은 ‘20대가 가장 호감을 느끼는 얼굴 표본’처럼 실제로는 존재하지 않는 인물을 컴퓨터로 만들어 학습시킨다”며 “만일 같은 기술로 실존하는 정치인이나 연예인 등을 학습시켜 만든 가짜 인물을 통해 허위 정보를 유포하거나 특정인의 명예를 훼손하면 큰 문제가 된다”고 설명했다. 이 같은 우려는 지난달 미국에서 실제로 일어났다. 가수 테일러 스위프트를 딥페이크 기술로 합성한 음란 사진이 소셜미디어(SNS)에 유포됐다. 뉴햄프셔주 예비선거를 앞두고는 조 바이든 미국 대통령을 가장한 딥페이크 음성 전화가 유권자들에게 걸려 오기도 했다.딥페이크 콘텐츠를 탐지하는 ‘안티페이크’ AI도 존재한다. 학습 데이터에 눈에는 보이지 않는 ‘디지털 표지’를 붙여 AI가 콘텐츠를 만들 때 드러나게 하는 ‘워터마크’ 기술도 주목받고 있다. 다만 안 팀장은 “이런 기술처럼 딥페이크 기술도 빠르게 발전하는 게 문제”라고 지적했다. 가상인간을 만드는 딥페이크 전문가는 허위 영상을 판별하는 요령을 알지 않을까. 안 팀장은 “가상인간을 만들 때 말소리와 입모양을 일치(싱크)시키는 작업이 가장 어렵다”면서 “조악한 영상들은 입모양을 자세히 보면 일반인도 구분할 수 있다”고 말했다. 또 “단어의 의미나 문장의 맥락에 맞는 표정이나 자연스러운 시선 처리도 구현하기 어려운 부분”이라면서 “이런 것들 중 하나라도 이상하다고 느껴진다면 가짜 영상임을 의심해볼 수 있다”고 말했다. 하지만 이런 요령도 시간이 지나면 소용이 없어질 가능성이 있다. 안 팀장은 “후반 보정 작업을 정교하게 여러 번 거치면 얼마든지 표가 나지 않게 만들 수 있다”며 “갈수록 정교해지는 결과물을 재학습한 더 강력한 AI 모델이 반드시 등장할 것”이라고 설명했다. 다만 “‘기술’의 문제를 해결할 수 있는 것은 역시 ‘기술’인 만큼 딥페이크의 문제도 우리 딥페이크 기술자들이 해결할 것”이라고 말했다.

경찰이 최근 윤석열 대통령이 등장하는 허위 조작 영상이 온라인에 유포된 것과 관련해 게시자를 특정하기 위한 강제수사에 나섰다. 조지호 서울경찰청장은 26일 기자간담회에서 “영상을 올린 것으로 보이는 아이디를 확보했고, 해당 아이디로 개인을 특정하기 위한 압수수색을 집행했다”며 “당사자가 어떤 의도로 구체적 행위를 했는지 수사할 것”이라고 밝혔다. 지난해 11월부터 틱톡과 메타 등 소셜미디어(SNS)에는 ‘가상으로 꾸며 본 윤 대통령 양심고백 연설’이라는 제목의 46초짜리 영상이 확산됐다. 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”며 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. 이달 초 국민의힘이 영상을 올린 성명 불상자를 명예훼손 혐의로 고발하자 서울경찰청 사이버수사대가 수사에 착수했다. 경찰이 최근 방송통신심의위원회에 관련 게시글의 삭제와 차단을 요청했고 방심위는 지난 23일 영상에 대한 접속을 차단했다. 해당 영상에 대해 당초 딥페이크(AI로 만든 영상·이미지 합성 조작물)라는 추측이 제기됐으나 2022년 2월 윤 대통령이 대선 후보이던 시절 진행한 TV 연설 장면을 짜깁기한 것이라는 분석이 나왔다.

경찰이 최근 윤석열 대통령이 등장하는 허위 조작 영상이 온라인에 유포된 것과 관련해 게시자를 특정하기 위한 강제 수사에 나섰다. 조지호 서울경찰청장은 26일 기자간담회에서 “영상을 올린 것으로 보이는 아이디를 확보했고, 해당 아이디로 개인을 특정하기 위한 압수수색을 집행했다”며 “당사자가 어떤 의도로 구체적 행위를 했는지 수사할 것”이라고 밝혔다. 앞서 지난해 11월부터 틱톡과 메타 등 소셜미디어(SNS)에는 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’이라는 제목의 46초짜리 영상이 확산됐다. 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”면서 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. 이달 초 국민의힘이 영상을 올린 성명 불상자를 정보통신망법상 명예훼손 혐의로 고발하자 서울경찰청 사이버수사대가 수사에 착수했다. 경찰이 최근 방송통신심의위원회에 공문을 보내 관련 게시글의 삭제와 차단을 요청했고 방심위는 지난 23일 해당 영상에 대한 접속을 차단했다. 해당 영상은 당초 딥페이크(AI로 만든 영상·이미지 합성 조작물)라는 추측이 제기됐으나, 2022년 2월 윤 대통령이 대선후보였던 시절 진행한 TV 연설 장면을 짜깁기한 것이라는 분석이 나왔다. 조 청장은 경찰의 자의적인 수사가 아니냐는 지적에 대해 “경찰이 마음대로 강제 수사할 수 있는 것도 아니고, 수사 결과도 검찰에서의 과정이 있고, 유죄로 판단하는 것은 법원”이라며 “자의성을 갖고 (수사)하지는 않을 것”이라고 강조했다.

조지호 서울경찰청장은 최근 온라인상에서 유포된 윤석열 대통령 모습이 등장하는 허위 조작 영상에 대해 “오늘 아이디로 개인을 특정하는 압수수색을 할 것”이라고 26일 밝혔다. 조 청장은 이날 정례 기자간담회에서 “영상을 올린 것으로 보이는 아이디를 확보했다”며 “당사자가 어떤 의도로 어떤 구체적 행위를 했는지 수사할 것”이라며 이같이 밝혔다. 앞서 지난해 연말부터 틱톡과 메타 등 소셜미디어(SNS)에는 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’이라는 제목의 동영상이 급속하게 퍼졌다. 46초 분량의 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”며 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. 이어 “윤석열 정부는 말로는 서민을 위한다고 하지만 무능과 부패로 자영업자와 소상공인 그리고 집 없는 서민들을 절망에 몰아넣었다”면서 “저 윤석열의 사전에 정치 보복은 있어도 민생은 없다”며 연설을 끝맺는다. 해당 영상은 당초 ‘딥페이크’(Deepfake·AI로 만든 영상·이미지 합성 기술)로 알려졌으나 기술적으로 확인한 결과 지난 2022년 2월 윤 대통령이 대선후보였던 시절 진행한 TV연설 장면을 짜깁기한 것으로 확인됐다. 경찰은 최근 방송통신심의위원회에 공문을 보내 관련 게시글의 삭제 및 차단을 요청했다. 이어 방심위는 지난 23일 이들 영상에 대한 차단 조치를 만장일치로 의결했다. 앞서 경찰은 지난해 12월 개정된 딥페이크 선거운동을 금지한 공직선거법까지 거론하며 수사 범위를 확대할 수도 있다는 취지로 말했지만, 고발 당사자가 정보통신망법상 명예훼손으로만 고발한 것으로 알려져 우선 관련 혐의에 대해 조사한다는 입장인 것으로 알려졌다. 조 청장은 “(경찰이) 자의성을 갖고 (수사)하지는 않을 것”이라면서 “경찰이 인위적으로 마음대로 강제 수사할 수 있는 것도 아니고 수사 결과도 경찰이 송치하면 검찰에서의 과정이 있고 유죄로 판단하는 것은 법원”이라고 강조했다.

방송통신심의위원회가 23일 긴급 통신심의소위원회를 열어 윤석열 대통령과 관련한 짜깁기 영상을 차단하기로 의결했다. 방심위는 향후 이와 유사한 허위 영상에 대해서는 긴급 차단 조치에 나선다는 방침이다. 이날 방심위는 경찰이 전날 삭제·차단을 요청해온 윤 대통령 관련 조작 영상 23개를 ‘현저한 사회 혼란을 일으킬 우려가 있는 영상’으로 판단하고 소셜네트워크서비스(SNS)에서 차단하는 결정을 만장일치로 의결했다. 이를 위해 인스타그램과 페이스북, 틱톡 등의 플랫폼에 차단 조치를 요청했다. 해당 영상은 인공지능(AI)으로 만든 딥페이크(Deepfake·영상·이미지 합성 조작물)가 아닌 2022년 2월 대선 과정에서 윤 대통령이 했던 TV연설 장면을 편집해 제한 것으로 파악됐다. 이 영상의 제목은 ‘가상으로 꾸며본 윤 대통령 양심고백연설’로, 44초 분량의 해당 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”며 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”라고 말하는 장면이 담겼다. 방심위는 실제 영상을 이용해 만든 해당 게시물을 일반 국민이 윤 대통령이 한 실제 발언으로 오인하게 할 우려가 큰 것으로 보고 신고 접수 하루 만에 긴급 차단 조치를 하게 됐다고 설명했다. 일각에서는 게시자가 ‘가상으로 꾸몄다’라고 밝힌 영상인 만큼 정치적 풍자로 볼 수 있다는 주장도 나온다. 경찰은 해당 영상과 게시글이 허위 사실 적시에 의한 명예훼손에 해당한다고 보고 차단을 요청한 바 있다.

“저 윤석열, 국민을 괴롭히는 법을 집행해온 사람입니다. 저 윤석열의 사전에 정치 보복은 있어도 민생은 없습니다” ‘윤석열 대통령 양심고백 영상’이란 제목으로 ‘가짜’ 윤석열 대통령 딥페이크(Deepfake·AI로 만든 이미지 영상 합성 기술) 영상물이 소셜미디어(SNS)에서 확산하자 경찰이 22일 방송통신심의위원회에 차단을 요청한 것으로 확인됐다. 방심위는 해당 영상을 ‘대통령을 이용해 사회적 혼란을 일으킬 수 있는 국내 첫 딥페이크물’로 판단하고 긴급 심의에 착수했다. 서울경찰청은 최근 방심위에 공문을 보내 틱톡과 메타 등에 올라온 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’ 딥페이크 게시글의 삭제와 차단을 요청했다. 근거 조항은 방송통신위원회의 설치 및 운영에 관한 법률, 정보통신망 이용촉진 및 정보보호 등에 관한 법률, 정보통신에 관한 심의 규정이다. 경찰은 “같은 URL 주소를 통해 틱톡, 인스타, 페이스북 사이트 계정을 사용하는 회원이 문제의 영상 등을 게시한 것으로 확인돼 삭제·차단을 요청한다”고 밝혔다. 방심위는 해당 내용을 접수하고 오는 23일 긴급 통신 심의소위원회를 열어 해당 안건을 심의한 뒤 바로 삭제 및 차단 조치를 할 것으로 알려졌다.46초 분량의 영상 속 윤석열 대통령은 “존경하는 국민 여러분. 저 윤석열, 국민을 괴롭히는 법을 집행해온 사람이다. 무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”라고 말한다. 이어 “저 윤석열, 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”며 “윤석열 정부는 말로는 서민을 위한다고 하지만 무능과 부패로 자영업자와 소상공인 그리고 집 없는 서민들을 절망에 몰아넣었다”고 말했다. 그러면서 “저 윤석열의 사전에 정치 보복은 있어도 민생은 없다. 감사하다”며 연설을 끝맺는다. 이날 오후 4시 현재 틱톡에서 ‘윤석열 양심’을 검색하면 같은 게시글이 5개가량 검색된다. 영상 댓글에는 “이건 윤석열이 아니다”, “이거 만든 사람 처벌해야 한다”는 부정적 반응과 반대로 “정말 저렇게 인정하면 좋으련만”, “가짜가 진짜보다 좋다” 등의 반대 반응도 달렸다. 앞서 2022년에도 지방선거를 앞두고 윤 대통령이 당시 국민의힘 박영일 남해군수 후보를 지지하는 가짜 영상이 SNS를 통해 확산하면서 정치적 논란이 됐었다. 한편, 중앙선거관리위원회(선관위)에 따르면 지난달 29일부터 지난 16일까지 19일간 유권자를 상대로 딥페이크를 이용한 선거 운동 행위로 공직선거법을 위반한 게시물은 129건에 달했다.

인공지능(AI)으로 만든 가짜 영상과 음성, 사진 등 딥페이크 저작물로 인한 폐해가 전 세계적으로 거세다. 특히 우리나라와 미국을 비롯해 올해 선거를 치르는 국가가 76개국에 달하면서 딥페이크 허위 조작 정보가 여론을 호도해 민주주의를 위협할 수 있다는 우려가 크다. 구글, 오픈AI, 마이크로소프트 등 글로벌 빅테크 기업 20곳이 최근 독일 뮌헨안보회의에서 유권자를 속이는 ‘선거 딥페이크’에 공동 대응한다는 협약을 발표한 것도 상황이 그만큼 심각하다는 방증이다. 챗GPT 등장 이후 상상을 초월하는 속도로 빠르게 진화하는 AI 기술을 올바르게 활용하는 방안은 무엇일까. 김명주 서울여대 바른AI연구센터장(정보보호학부 교수)은 “AI 악용과 오남용을 막는 법과 규제는 꼭 필요하지만 사후적 성격이어서 한계가 있다”며 “안전하고 신뢰할 수 있는 AI 윤리에 대한 공론화가 중요하다”고 했다. 2018년 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만드는 등 국내 AI 윤리 연구를 선도해 온 그를 지난 13일 인터뷰했다.-딥페이크 악용으로 선거의 공정성이 훼손되고 민주주의가 혼란에 빠질 수 있다는 경고음이 커지고 있다. “지난달 미국 뉴햄프셔주 예비 경선을 앞두고 조 바이든 미국 대통령의 목소리를 흉내 낸 가짜 전화가 민주당 당원들에게 돌아 충격을 줬다. 지난해 5월 튀르키예 대선에선 테러 집단이 야당 후보를 지지하는 내용의 딥페이크 영상이 유포돼 결과적으로 집권당 승리에 도움을 줬다. 딥페이크 선거운동에 대한 우려가 현실로 드러난 단적인 사례들이다. 사실에 기반한 유권자의 투표 행위라는 선거의 기본적 신뢰를 무너뜨리는 것으로, 민주주의를 흔드는 매우 심각한 위험이다.” -우리나라는 4월 총선을 앞두고 지난해 말 공직선거법을 개정해 선거 90일 전부터 딥페이크를 활용한 선거운동을 전면 금지했는데. “여야가 합의해서 선거에 AI를 사용하지 않기로 했지만 열성 지지자들이 개인적으로 제작해 유포하는 것까지 원천적으로 차단할 수는 없다. 중앙선거관리위원회가 전담팀을 구성해 단속하고 있으나 딥페이크 저작물 생성에 수분밖에 걸리지 않고 소셜미디어(SNS) 등을 통해 퍼지는 속도가 워낙 빠르기 때문에 현실적으로 대응하기가 쉽지 않다. 선거 하루 이틀 전이 가장 위험하다. 선관위가 딥페이크 여부를 확인하기 전에 투표가 끝나 버리는 상황을 노리고 상대 후보에게 타격을 주는 가짜 정보를 마구잡이로 퍼뜨릴 가능성이 높다. 가짜뉴스가 중도층의결정에 영향을 미쳐 선거판을 흔들 수 있다.” 선관위에 따르면 지난달 29일부터 지난 16일까지 적발된 딥페이크 게시물은 129건이었다. 딥페이크 선거 운동 금지법을 위반하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다. 선관위 전담 인력 70여명이 3단계에 걸쳐 딥페이크 감별과 분석, 삭제 조치 등을 맡고 있다. -해외의 딥페이크 규제는 어떤가. “미국은 지난해 10월 바이든 행정부 주도로 AI로 만든 음성, 사진, 영상물에 의무적으로 워터마크(식별표시)를 부착하는 행정명령을 발표했다. 유럽연합(EU) 회원국이 이달 초 합의한 AI 규제법에도 AI 생성 표시를 의무화하는 내용이 포함돼 있다. 이 법은 2년 유예를 거쳐 2026년부터 시행된다. 글로벌 빅테크 기업들도 이런 흐름에 동참하고 있다. 다만 미국, EU를 제외한 국가 또는 중소 AI 기업은 법과 규제의 적용을 피할 수 있어 실효성이 떨어질 우려가 있다. 누구나 AI 허위 조작물을 만들 수 있을 정도로 딥페이크 기술이 대중화됐다. 규제를 너무 강하게 하면 그 규제를 따라가지 못하는 이들이 음지로 숨어 버려 부작용이 커지는 역효과가 날 수 있다. 규제의 적절한 기준을 도출하는 것이 중요하다.” -국내 AI 관련 법·규제 현황은. “과학기술정보통신부가 추진하는 AI 기본법(AI 산업 육성 및 신뢰 기반 조성에 관한 법률안)이 국회에 계류 중이다. 지난해 2월 과학기술정보방송통신위원회 법안소위를 통과했지만 시민단체가 반대해 멈춰 선 상태다. EU의 AI 규제법은 처음부터 만들지 말아야 하는 AI 금지 항목을 명확하게 규정하고 있는 것과 달리 우리는 AI 산업 진흥을 앞세워 규제가 느슨하다는 이유에서다. 챗GPT 등장 이후 규제론이 힘을 얻고 있는데 AI 기본법에 이를 반영해야 한다는 의견이 제기되면서 합의가 미뤄지고 있다. 미국과 유럽은 글로벌 AI 규제 주도권 경쟁이 한창이다. 지난해 11월 영국 런던에서 처음 개최된 ‘AI 안전 정상회의’의 후속 회의가 오는 5월 서울에서 열린다. 이를 계기로 우리도 글로벌 규제에 적극 대비해야 한다.” -지난해 11월 오픈AI의 샘 올트먼 CEO 사퇴 소동이 화제였다. AI 개발론자와 규제론자의 갈등이 극적으로 표출된 사건으로 주목받았는데. “오픈AI가 챗GPT를 출시했을 때 구글은 그보다 성능이 뛰어난 생성형 AI 기술을 개발한 상태였다. 다만 잠재적 위험을 제거할 수 있는 방안을 찾기 전까지 공개하지 않는다는 원칙을 지켰다. 그러나 이사진 요구에 떠밀려 바드를 출시했고 생성형 AI 개발 경쟁이 불붙었다. 그러나 AI의 급격한 발전으로 인한 부작용이 커지면서 규제론이 부상했다. AI 기술은 비가역적이다. 일단 세상에 나온 신기술은 되돌릴 수 없다. 시작 단계부터 올바른 발전 방향을 고민하고 사회적 담론을 형성하는 것이 중요하다. 오픈AI 사태로 AI 윤리에 대한 관심이 커진 것은 다행이다.” -법으로 규제하면 되는데 AI 윤리가 왜 필요한가. “법은 사후적 성격이고 정해진 조건에서만 적용되는 한계가 있다. 또한 AI 기술 발전 속도는 다른 기술보다 월등하게 빨라서 현실적으로 법이 기술의 발전 속도를 따라갈 수가 없다. 법보다는 윤리로 선제 대응해야 한다. AI는 스스로 학습할 수 있지만 윤리적 판단은 못 한다. AI에 양심이라는 코드를 넣어 준 적이 없기 때문이다. 결국 양심을 가진 사람이 AI를 잘 만들어 올바로 이용하고, 그에 따르는 책임을 져야 한다. AI 윤리가 중요한 이유다.” -AI 윤리의 핵심 원칙은. “투명성, 통제성, 책무성, 공공성 등을 꼽을 수 있다. AI의 행동과 판단 배경, 위험 가능성에 관한 정보가 투명하게 제공돼야 하고 모든 상황에서 언제든 인간이 개입해 통제할 수 있어야 한다. 또한 AI 기술이 사회와 개인에 부정적인 영향을 끼칠 경우 책임을 묻는 책무성도 기본이다. ” -AI 기술을 잘 활용하려면 어떻게 해야 하나. “비판적 시각을 갖는 게 중요하다. 이 세상에 완전한 기술은 없다. 첨단 기술이 나오면 ‘유용하기만 할까’, ‘조심해야 할 건 뭘까’ 등 질문을 해야 한다. 자신의 관점에서 기술을 소화하는 능력도 필요하다. AI 기술이 얼마나 위험한지 아무도 모른다. 누군가 문제를 발견하면 공론화하는 과정이 필요하다. 그래야 시행착오를 줄일 수 있다. AI 기술은 피할 수 없다. 그렇다면 악용이나 오남용하지 않고 목적에 맞게 잘 활용하는 방안을 지속적으로 고민해야 한다.” ● 김명주 센터장은 서울대 컴퓨터공학과 석·박사. 한국인터넷윤리학회 회장 역임. 2018년 국내 최초로 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만든 공로로 근정포장 훈장 수상. 2019년 바른AI연구센터 설립. 현 인공지능윤리정책포럼 위원장, OECD 글로벌AI협의체 전문가. 저서 ‘AI는 양심이 없다’(2022).

중앙선거관리위원회가 오는 4월 총선을 앞두고 공직선거법상 위법 사항인 인공지능(AI)을 활용한 ‘딥페이크’ 불법 게시물을 22일 만에 129건이나 적발했다. 상대당 후보가 참석하지도 않은 행사에 참석한 듯 이미지를 합성하는 등 특정 정치인의 이미지를 왜곡하거나 조롱하는 영상물로 모두 삭제했다고 한다. 선거가 가까워질수록 이런 불법 선거물이 넘쳐날 판이니 대책 마련이 시급해 보인다. 딥페이크 영상 등은 AI 기술 등으로 만들어 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상 등이다. 공직선거법 개정에 따라 지난달 29일부터 이런 딥페이크물은 제작·편집·유포·상영·게시할 수 없다. 위반하면 7년 이하 징역이나 최고 5000만원의 벌금형에 처한다. AI 기술로 만든 가상의 영상물이라고 표시를 하더라도 허위사실이 포함된 경우에는 허위사실 공표죄로 처벌한다지만 위해성을 감안하면 미흡한 대책이다. 선관위는 반복적이고 악의적인 딥페이크물은 고발 조치 등 강력 대응해야 한다. 이런 불법 게시물은 삭제하더라도 삭제하기 전에 본 유권자들에게 특정 정당과 정치인에 대한 왜곡되거나 편향된 인식을 심어 주고 유권자의 정확한 판단을 흐리게 한다. 포털 업체와 정치권의 협조도 필요하다. 선관위에서 AI 전담 조직을 꾸려 모니터링을 강화한다지만 모든 딥페이크물을 적발하기란 힘든 일이다. 포털 업체가 선관위의 삭제 요청에 앞서 스스로 이런 딥페이크물을 걸러 내는 시스템을 갖춰야 한다. 정치권은 딥페이크를 활용한 불법 선거물을 제작, 유포하는 정치인은 공직선거에 입후보할 자격을 박탈하는 등 AI 선거의 해악을 최소화할 방안을 모색해야 한다. 유권자의 눈과 귀를 흐리는 선거는 정치에 대한 불신감만 키울 것이다.

전 세계적으로 인공지능(AI) 기술을 활용한 딥페이크 저작물이 쏟아지는 가운데 우리나라도 주요 선진국처럼 규제 입법 논의를 서둘러야 한다는 지적이 나온다. 딥페이크가 ‘민주주의의 주적(主敵)’으로 부상한 지 오래지만 국회에 발의된 건 소위 ‘made by AI’(인공지능이 만든 저작물) 표기 의무화 법안 4건뿐이다. 이마저도 무관심 속에 오는 4월 폐기될 것으로 전망된다. ‘made by AI’ 표기 의무화여야 무관심 속 무산될 듯 19일 국회 의안정보시스템에 따르면 김승수 국민의힘 의원이 지난해 12월 대표 발의한 정보통신망법 개정안에는 딥페이크 등 AI 기술을 이용해 만든 가상의 정보를 온라인에 게시할 때 ‘워터마크’(식별표시)를 의무화하는 내용이 담겼다. 어기면 1000만원 이하의 과태료를 부과하고 해당 영상을 삭제할 수 있다. 배현진 국민의힘 의원도 2022년 1월 발의한 정보통신망법 개정안에서 딥페이크 영상에 워터마크를 부착하는 것을 의무화했다. 또 당사자 의사에 반해 AI 기술로 딥페이크 영상(음성·이미지 포함)을 만들 경우 당사자가 삭제를 요청할 수 있게 했다. 박성중 국민의힘 의원과 이상헌 더불어민주당 의원도 비슷한 내용으로 각각 정보통신망법 개정안(2023년 11월)과 콘텐츠산업진흥법 개정안(2023년 5월)을 내놓았다.규제 탓 AI 발전 저해 우려“표기 의무 범위 적절해야” 하지만 이번 국회에서 4개 법안의 법제화는 쉽지 않아 보인다. 여야 모두 총선 국면으로 진입하면서 논의는커녕 관심조차 두지 않고 있기 때문이다. 정부 역시 콘텐츠 제작자의 책임성을 강화하는 해당 법안들의 취지에는 공감하지만 AI 산업 성장을 저해할 수 있다는 업계 의견도 있어 신중히 검토해야 한다는 입장이다. 또 이 법안들은 사람 눈에 보이지 않는 컴퓨터용 식별번호인 ‘AI 워터마크’를 의무화하면 원칙적으로 딥페이크 예방이 가능하다는 취지를 담고 있다. 하지만 기술적으로 볼 때 선결 과제가 적지 않다. 우선 현재 오픈AI, 구글, 메타 등이 각자의 워터마크를 표시하겠다는 계획을 밝힌 상태다. 결국은 텍스트, 이미지, 오디오, 동영상 등 모든 콘텐츠에 적용할 수 있고 모든 창작자가 쉽게 사용할 전 세계 기술 표준이 필요하다. 특히 현 상황에서 AI 기술로 AI 워터마크를 우회해 무력화하는 것도 가능하다. 모든 개인 창작자가 워터마크를 표시하라는 규제를 따를지도 의문이다. 이에 워터마크를 쓰지 않는 ‘딥페이크 애플리케이션’을 대형 앱스토어에 올리지 못하도록 해야 한다는 지적도 나온다. 우리나라는 현재 중앙선거관리위원회가 지난해 12월 통과된 공직선거법에 따라 선거 기간 집중적으로 선거운동이나 여론 조작, 국론 분열 등을 의도하는 딥페이크 영상을 규제한다. 누구든지 선거 90일 전(22대 총선 기준 1월 29일)부터 선거운동을 위해 딥페이크 영상·음향·이미지 등을 제작·편집·유포·상영·게시할 수 없다. 또 인터넷에 이미 게시된 딥페이크 영상도 선거 90일 전까지 삭제해야 한다. 위법 기간 전이라도 선거운동으로 딥페이크 영상을 제작·편집·유포·상영·게시한다면 전체 화면의 10분의1 크기로 ‘이 영상은 실제가 아닌 AI 기술 등을 이용해 만든 가상의 정보’라는 문구를 표시해야 한다. 선관위에 따르면 법안에 따른 규제 기간이 아니어도 딥페이크 영상을 아무런 표시 없이 누군가를 당선시킬 목적으로 제작·유포하면 5년 이하의 징역 또는 5000만원 이하의 벌금에 처한다. 또 누군가를 낙선시킬 목적으로 제작·유포하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금에 처한다. 美바이든 AI 생성물 규제구글 등 20곳 연합군 결성 주요 선진국들은 딥페이크 관련 규제를 속속 도입하고 있다. 조 바이든 미국 대통령은 지난해 첫 AI 행정명령에 서명해 AI 생성물 여부를 구분할 수 있도록 했다. 팝가수 테일러 스위프트의 얼굴과 음란물을 합성한 AI 가짜 이미지가 소셜미디어(SNS)에 퍼지며 전 세계에 파문을 일으킨 뒤 백악관이 직접 나서 규제 강화 필요성을 강조하면서 입법을 촉구했다. 애리조나주 공화당 의원들은 공직 후보자나 주민이 자신을 사칭한 가짜 디지털 콘텐츠를 게시한 사람에게 손해배상을 청구할 수 있도록 하는 법안을 제출했다. 최근 구글과 오픈AI 등 글로벌 빅테크 기업 20곳이 독일 뮌헨안보회의(MSC)에서 ‘딥페이크와의 전쟁’을 목표로 연합군을 결성한 것 역시 주목할 만하다. 반면 총선을 앞두고 영향력이 큰 네이버와 카카오 등 국내 포털의 경우 사전 필터링이 아니라 선관위가 판단해 삭제 요청을 하는 딥페이크 저작물에만 대응하는 소극적 후속 조치를 할 뿐이다. 이대희 고려대 법학전문대학원 교수는 “AI 생성물임을 표기하는 것은 이용자를 속이거나 개인 프라이버시를 침해하는 것을 방지하는 긍정적 역할을 하며 원칙적으로는 당연히 필요한 부분”이라면서 “다만 AI 생성물임을 적합하게 표기하도록 하려면 표기 의무 범위를 적절하게 정해 줘야 한다”고 제언했다.

“선관위, 영상 확인에 최소 하루선거 전날 유포 땐 대응 어려워”“딥페이크 저작물 엄격한 관리기술 발전 막는 방향은 안 돼” 중앙선거관리위원회 ‘딥페이크 특별대응 모니터링반’이 그간 129건의 정치·선거 관련 딥페이크 저작물을 걸러낸 것으로 확인된 가운데 전문가들은 네이버, 카카오 같은 대형 플랫폼이 선제적으로 딥페이크를 적발·차단해야 한다고 지적했다. 특히 딥페이크를 이용한 북한의 선거 개입 가능성에 대비하자는 제언도 있었다. 김명주 서울여대 바른AI연구센터장은 19일 통화에서 “(선관위가) 딥페이크 여부를 확인하는 데 최소 하루 이상이 걸린다”며 “열성 지지자가 선거 하루 전에 상대 후보에게 불리한 딥페이크 저작물을 유포한다면 현재 선관위 인력으로는 이에 대응하기 힘들 것”이라고 평가했다. 이어 “(딥페이크가 실제와) 똑같지는 않지만 비슷한 정도는 되니 유권자들이 (딥페이크 저작물을 보고) 원하는 대로 해석할 가능성이 크다”고 덧붙였다. 국가기관인 선관위로서는 딥페이크 저작물을 적발했을 때 포털에 의뢰해 삭제할 콘텐츠인지, 법적 처벌을 의뢰할 저작물인지를 신중하게 판단해야 하지만 온라인의 빠른 콘텐츠 확산 속도를 감안할 때 이미 딥페이크 소비가 끝났을 수 있다. 특히 ‘리페이스’와 같은 애플리케이션을 사용해 딥페이크 사진을 만드는 데 걸리는 시간은 1~2분, 영상도 5분이면 제작이 가능해 물량 공세에 맞닥뜨릴 수 있다. 이성엽 고려대 기술경영전문대학원 교수는 “역정보나 허위 정보를 퍼뜨린다는 면에서 페이크 영상 같은 것을 북한에서 만들어 유포할 가능성도 배제하기 힘들다”며 “딥페이크를 감지하고 플랫폼에서 차단하는 방식으로 규제가 이뤄져야 한다”고 말했다. 총선 앞 국론 분열을 노린 북한이 딥페이크 영상을 유포하며 공격에 나설 수 있다는 의미다. 영국 옥스퍼드대는 북한에 대해 3개 이상의 국가기관이 소셜미디어(SNS) 여론 조작에 개입하는 것으로 평가한 바 있다. 네이버나 카카오 등 대형 플랫폼의 자체 딥페이크 적발을 위해서는 딥페이크 탐지·삭제, 계정 차단, 사이트 차단 등의 권한을 쥔 공공부문과 협업해야 한다는 제언도 있다. 딥페이크 민관 태스크포스(TF)를 구축하는 방식이다. 다만 장병탁 서울대 AI연구원장은 “똑같은 칼로 요리할 건지, 수술할 건지, 사람을 다치게 하는 데 쓸 건지를 정하는 상황”이라며 “칼 자체를 개발하지 못하도록 하면 요리 발전, 수술 발전에 도움이 되지 않는다”고 말했다. 엄격한 판단을 통해 딥페이크 저작물을 처리해야지, 딥페이크 생산 자체를 근본 차단해 기술 발전을 막아서는 안 된다는 의미다.

사용자가 딥페이크 영상에 속는 일을 막기 위해 인공지능(AI)이 생성한 이미지나 영상을 감지하거나 콘텐츠에 ‘표지’를 남기는 기술도 계속 개발되고 있다. 하지만 대체로 딥페이크를 잡는 기술은 나날이 정교해지는 딥페이크 기술의 발달 속도를 따라잡지 못하고 있다. 19일 AI 업계에 따르면 딥페이크에 대응하는 기술은 크게 ‘탐지’하는 방식과 ‘표지’를 남기는 방식으로 나뉜다. 이 중 탐지 방식은 딥페이크의 특징을 학습한 AI가 가짜 영상을 찾아내 확산되기 전에 막는 기술이다. 합성한 얼굴과 합성 이미지를 덧씌운 대상의 얼굴 경계에 있는 미세한 차이, 모델의 데이터가 부족할 때 나타나는 부정확한 표정, 딥페이크에서만 나타나는 미묘한 음성 지연 등 얼굴이나 음성을 합성할 때만 나타나는 현상을 인간의 눈, 귀보다 빠르고 정확하게 찾아낸다. 2020년 마이크로소프트(MS)와 구글, 메타 등은 우승 상금 100만 달러(현재 환율로 약 133억 3550만원)를 걸고 ‘딥페이크 디텍터 챌린지’를 열었다. 전 세계 연구자와 개발자들의 기술과 아이디어를 끌어모으기 위해서다. 대회를 통해 탐지용 AI를 학습시킬 수 있는 딥페이크 데이터 세트가 만들어졌고, 누구나 탐지 모델을 만들 때 쓸 수 있도록 소스코드도 공유됐다. 하지만 2000명 이상의 참가작 중 1위 AI 모델조차 탐지 정확도가 65%에 그쳤다. 지난해엔 인텔이 ‘페이크캐처’라는 딥페이크 탐지 소프트웨어를 공개했다. 인텔은 페이크캐처가 사람의 심장이 뛸 때마다 얼굴에 나타나는 미세한 색 변화 등을 감지해 무려 96%의 정확도로 딥페이크를 걸러낸다고 밝혔다. 하지만 BBC 등에 따르면 이는 조명, 대상 인종 등 실험 조건이 통제된 상황에서만 달성될 가능성이 높다. 국내에선 딥브레인AI가 딥페이크 탐지 기술을 꾸준히 개발하고 있다. 자사에 축적된 AI 아바타 제작 데이터와 기술력을 딥페이크 탐지에도 활용해 솔루션을 만들어 출시하고 있다. 지난달 출시한 서비스는 클라우드 환경에서 운영되는 서비스형 소프트웨어(SaaS) 2종으로, 조작된 이미지와 동영상 탐지 서비스, 음성 탐지 서비스를 각각 제공한다. 생성형 AI가 학습할 데이터에 눈엔 보이지 않는 ‘딱지’를 붙여 딥페이크 생성 과정에서 이를 드러나게 하는 ‘워터마크’ 방식도 최근 주목을 받고 있다. 구글 딥마인드가 지난해 8월 공개한 ‘신스ID’(SynthID)가 대표적이며, 네이버 제페토와 메타 등도 워터마크 정책을 도입했다. 하지만 워터마크를 지우는 기술 역시 다양하고 빠르게 확산되고 있다. 미국 메릴랜드대 연구진은 지난해 10월 신스ID를 포함한 주요 AI 워터마크를 모두 깨뜨렸다는 연구 결과를 발표하기도 했다.

보름여 만에 저작물 129건 적발“위법 판단땐 징역·벌금 법적조치” #1. 유튜브 채널에서 총선 입후보 예정자 A씨가 자신을 소위 ‘셀프 디스’하는 모습이 담긴 영상이 적발됐다. 분명 A씨인데, 그는 그런 말을 한 적이 없다고 했다. 검증 결과 A씨의 목소리를 영상에 입힌 ‘딥보이스’ 저작물이었다. 영상에 자막까지 삽입해 시청자들은 실제 방송뉴스와 분간하기 어려웠다. #2. 한복을 입은 총선 예비후보자 B씨가 새해를 맞아 “새해 복 많이 받으세요. 국회를 바꾸겠습니다. ○○○을 국회로 보내 주세요”라고 세배하는 영상도 문제가 됐다. ‘페이스스와프’ 기술로 기존 영상에 B씨 얼굴만 입힌 가짜였다. 음성도 B씨 목소리를 학습한 생성형 인공지능(AI)의 ‘딥보이스’였다. 중앙선거관리위원회 ‘허위사실비방 AI 딥페이크(생성형 AI가 만든 가짜 이미지나 영상물) 특별대응 모니터링반’(특별대응반)이 4·10 총선을 50일 앞두고 19일 서울신문에 공개한 딥페이크 적발 사례다. 이곳에서 걸러낸 정치·선거 관련 딥페이크 저작물(1월 29일~2월 15일)만 129건으로 하루 평균 7건꼴이다. 우리나라도 딥페이크의 선거 개입 위협에서 더이상 무풍지대가 아닌 셈이다. 지난 16일 찾은 경기 과천시 중앙선관위의 특별대응반 사무실 입구에는 검은 연기 기둥을 내뿜는 ‘딥페이크 펜타곤’(미국 워싱턴DC 인근 국방부 청사)과 실제 펜타곤 사진을 나란히 표출한 대형 모니터가 있었다. 지난해 5월 트위터 유료 계정에서 급속히 유포돼 미국 주식시장을 출렁이게 했던 가짜 이미지다. 눈여겨보면 가짜인 게 확연하지만, 일부 주식시장 참여자들이 진위 판단보다 주식을 먼저 팔아치우면서 ‘딥페이크의 무서움’을 보여 준 대표 사례가 됐다. 손욱 주무관은 “딥페이크 기술은 하루가 다르게 정교해지고 완벽해진다. 총선이 임박해 딥페이크 기반의 가짜 영상, 음성, 사진이 기승을 부릴 가능성을 배제할 수 없다”고 말했다. 이어 “지난해 8월부터 미국, 튀르키예, 인도네시아, 대만 등 해외 선거에서 딥페이크 작업물이 발견되면서 이들의 제작 형태와 유포 경로 등을 닥치는 대로 학습했다. (총선 관련) 딥페이크 저작물의 유포 경로를 빠르게 파악하고 선거에 영향을 미치지 못하게 신속 차단하는 게 임무”라고 했다. 선관위 “딥페이크 전면 금지”특별대응반 꾸려 집중 감시 우리나라는 지난해 12월 ‘선거 90일 전부터 딥페이크를 활용한 선거 운동을 전면 금지’하는 내용으로 공직선거법을 개정했다. 이에 선관위도 지난해 8월부터 AI 전문 감별반 개설 준비에 착수했다. 지난달 11일엔 400여명 규모의 ‘허위사실 사이버범죄 특별대응팀’ 산하에 특별대응반(59명)을 구성했다. 사무실에서는 데이터분석 전문가 등 AI 전담 요원 5명을 포함해 17명이 모니터링에 한창이었다. 유튜브, 트위터, 페이스북 등에 선거와 관련된 특정 단어, 정치 논쟁 이슈를 입력해 선거법 위반 소지가 있는 영상, 음성, 사진을 선별한다. 요원 1명이 하루에 약 300건을 검토한다고 했다. 지금까지 적발한 129건의 딥페이크 저작물은 대부분 개인이 제작한 것으로, 지지 후보의 이미지를 활용해 반대 진영 후보를 언급하는 수준이었고, 이에 선거 운동의 목적이 있는 게시물에만 단순 삭제 조처를 했다고 한다. 하지만 선관위는 악의적이거나 조직적으로 제작됐다고 판단되면 향후 고발 조치에 나설 수 있다고 했다. 공직선거법을 어기면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다. 우리나라에서는 지난 지방선거 때 소위 ‘AI 윤석열’을 이용해 특정 남해군수 후보를 지지하는 영상이 유포된 게 대표적인 딥페이크 악용 사례로 꼽힌다. 특히 선관위는 개인용 딥페이크 저작물이라도 유권자의 일상을 교묘히 파고드는 식이면 심각한 문제가 될 수 있다고 했다. 선관위 관계자는 “딥페이크 작업물 대부분은 아직 영상이나 사진이 어색하고 내용을 조금만 보면 (가짜임을) 알 수 있다”면서도 “하지만 올해 적발된 영상들은 소름 끼치도록 정교하게 진화했다”고 했다. 이에 딥페이크의 발전 속도가 지나치게 빨라 감별 프로그램이 따라가지 못할 수 있다고 우려했다. 현재 딥페이크 적발 프로그램은 기존에 학습되지 않은 딥페이크 작업물의 경우 감별하기 어렵고 악의적인 딥페이크 저작물을 찾아내도 해외 인터넷주소(IP) 등으로 유포되면 제작자를 찾아내 처벌하기 쉽지 않다. 특히 저작물이 워낙 빠르게 확산되고 소비되다 보니 가짜뉴스의 확산 자체를 막는 게 더욱 힘들다. 선관위는 ‘신속한 확산 저지’를 목표로 3단계 접근법을 구축했다. 1단계는 자체 제작한 ‘AI 지능형 사이버 선거범죄 대응 시스템’으로 위법성이 의심되는 정치 관련 게시물을 자동 수집해 검토한다. 이후 범용 프로그램으로 실제 딥페이크 저작물인지 확인하고, 가짜일 확률이 높을 경우 삭제 요청을 한다. 아주 정교한 딥페이크 저작물은 생성형 AI 전문가인 전문 위원 3명에게 자문하는데, 지금까지 이런 사례는 없었다.美·英 등 해외 선거판 흔들어탐지 속도보다 확산 더 빨라 외국은 딥페이크를 활용한 선거 왜곡 시도가 더욱 심각하다. 지난달 미국 뉴햄프셔 유권자들에게 걸려 온 28초가량의 전화에서 조 바이든 미국 대통령의 목소리를 흉내 낸 ‘로보콜’(녹음된 음성이 재생되는 자동전화)은 실제와 똑같았다. 가짜 바이든은 “여러분의 투표는 이번 화요일이 아니라 11월에 변화를 만들 수 있다”며 민주당 경선에 참여할 필요가 없다고 해 유권자들에게 혼란을 주었다. 튀르키예의 지난 5월 대선도 딥페이크 저작물이 흔들었다. 레제프 타이이프 에르도안 튀르키예 대통령은 터키 분리주의 단체인 쿠르디스탄노동자당(PKK)이 상대 후보인 케말 클루츠다로을루를 지지하는 노래를 부르는 영상을 뿌려 지지자의 반감을 자극했다. AI로 조작한 영상이었지만, 에르도안 대통령은 이겼다. 지난해 9월 슬로바키아에서도 선거를 며칠 앞두고 친미 성향의 야당 대표가 맥주가격 인상과 선거 조작 계획을 논의한 것처럼 꾸민 딥페이크 음성이 확산됐다. 이 음성 역시 가짜로 판명됐지만 야당 패배의 주요 원인 중 하나로 지목됐다. 영국에서는 소셜미디어(SNS) 틱톡에서 사디크 칸 런던 시장이 정전협정일 행사의 중요성을 부인하는 가짜 음성이 유포돼 논란이 일었다. 해당 음성은 문법적 오류가 많았지만 칸 시장의 억양을 정확히 재현해 얼핏 듣기에 진위를 가리기 어려웠다고 한다. ■딥페이크(Deepfake)란 인공지능 기술인 딥러닝(Deep learning)과 ‘가짜’를 의미하는 단어인 페이크(Fake)의 합성어다. 딥러닝을 이용해 원본 이미지나 동영상 위에 원본과는 관련 없는 이미지를 결합해 진위를 구별하기 어렵게 만든 가짜 이미지나 영상물을 뜻한다. 딥페이크라는 단어가 등장한 것은 2017년 말로 미국 온라인 커뮤니티 레딧의 한 회원이 기존 영상에 유명인의 얼굴을 입혀 가짜 포르노 영상을 게재한 데서 유래됐다. 이후 온라인 커뮤니티와 소셜미디어(SNS)를 중심으로 급속히 확산한 딥페이크 콘텐츠는 최근 딥페이스랩(DeepFaceLab), 페이스스와프(Faceswap) 같은 오픈 소스 형태의 영상 합성 제작 프로그램이 배포되면서 더욱 성행하고 있다.

#1. 유튜브 채널에서 총선 입후보 예정자 A씨가 자신을 소위 ‘셀프 디스’하는 모습이 담긴 영상이 적발됐다. 분명 A씨인데, 그는 그런 말을 한 적이 없다고 했다. 검증 결과 A씨의 목소리를 영상에 입힌 ‘딥보이스’ 저작물이었다. 영상에 자막까지 삽입해 시청자들은 실제 방송뉴스와 분간하기 어려웠다. #2. 한복을 입은 총선 예비후보자 B씨가 새해를 맞아 “새해 복 많이 받으세요. 국회를 바꾸겠습니다. ○○○을 국회로 보내 주세요”라고 세배하는 영상도 문제가 됐다. ‘페이스스와프’ 기술로 기존 영상에 B씨 얼굴만 입힌 가짜였다. 음성도 B씨 목소리를 학습한 생성형 인공지능(AI)의 ‘딥보이스’였다. 중앙선거관리위원회 ‘허위사실비방 AI 딥페이크(가짜 이미지나 영상물) 특별대응 모니터링반’(특별대응반)이 4·10 총선을 50일 앞두고 19일 서울신문에 공개한 딥페이크 적발 사례다. 이곳에서 걸러낸 정치·선거 관련 딥페이크 저작물(1월 29일~2월 15일)만 129건으로 하루 평균 7건꼴이다. 우리나라도 딥페이크의 선거 개입 위협에서 더이상 무풍지대가 아닌 셈이다. 지난 16일 찾은 경기 과천시 중앙선관위의 특별대응반 사무실 입구에는 검은 연기 기둥을 내뿜는 ‘딥페이크 펜타곤’(미국 워싱턴DC 인근 국방부 청사)과 실제 펜타곤 사진을 나란히 표출한 대형 모니터가 있었다. 지난해 5월 트위터 유료 계정에서 급속히 유포돼 미국 주식시장을 출렁이게 했던 가짜 이미지다. 눈여겨보면 가짜인 게 확연하지만, 일부 주식시장 참여자들이 진위 판단보다 주식을 먼저 팔아치우면서 ‘딥페이크의 무서움’을 보여 준 대표 사례가 됐다. 손욱 주무관은 “딥페이크 기술은 하루가 다르게 정교해지고 완벽해진다. 총선이 임박해 딥페이크 기반의 가짜 영상, 음성, 사진이 기승을 부릴 가능성을 배제할 수 없다”고 말했다. 이어 “지난해 8월부터 미국, 튀르키예, 인도네시아, 대만 등 해외 선거에서 딥페이크 작업물이 발견되면서 이들의 제작 형태와 유포 경로 등을 닥치는 대로 학습했다. (총선 관련) 딥페이크 저작물의 유포 경로를 빠르게 파악하고 선거에 영향을 미치지 못하게 신속 차단하는 게 임무”라고 했다. 우리나라는 지난해 12월 ‘선거 90일 전부터 딥페이크를 활용한 선거 운동을 전면 금지’하는 내용으로 공직선거법을 개정했다. 이에 선관위도 지난해 8월부터 AI 전문 감별반 개설 준비에 착수했다. 지난달 11일엔 400여명 규모의 ‘허위사실 사이버범죄 특별대응팀’ 산하에 특별대응반(59명)을 구성했다. 사무실에서는 데이터분석 전문가 등 AI 전담 요원 5명을 포함해 17명이 모니터링에 한창이었다. 유튜브, 트위터, 페이스북 등에 선거와 관련된 특정 단어, 정치 논쟁 이슈를 입력해 선거법 위반 소지가 있는 영상, 음성, 사진을 선별한다. 요원 1명이 하루에 약 300건을 검토한다고 했다. 지금까지 적발한 129건의 딥페이크 저작물은 대부분 개인이 제작한 것으로 지지 후보의 이미지를 활용해 반대 진영 후보를 언급하는 수준이었고, 이에 선거 운동의 목적이 있는 게시물에만 단순 삭제 조처를 했다고 한다. 하지만 선관위는 악의적이거나 조직적으로 제작됐다고 판단되면 향후 고발 조치에 나설 수 있다고 했다. 공직선거법을 어기면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다.우리나라에서는 지난 지방선거 때 소위 ‘AI 윤석열’을 이용해 특정 남해군수 후보를 지지하는 영상이 유포된 게 대표적인 딥페이크 악용 사례로 꼽힌다. 특히 선관위는 개인이 제작한 딥페이크 저작물이라도 유권자의 일상을 교묘히 파고드는 식이면 심각한 문제가 될 수 있다고 했다. 선관위 관계자는 “딥페이크 작업물 대부분은 아직 영상이나 사진이 어색하고 내용을 조금만 보면 (가짜임을) 알 수 있다”면서도 “하지만 올해 적발된 영상들은 소름 끼치도록 정교하게 진화했다”고 했다. 딥페이크의 발전 속도가 지나치게 빨라 감별 프로그램이 따라가지 못할 수 있다는 우려다. 현재 딥페이크 적발 프로그램은 기존에 학습되지 않은 딥페이크 작업물의 경우 감별하기 어렵다. 또 악의적인 딥페이크 저작물을 찾아내도 해외 인터넷주소(IP) 등으로 유포되면 제작자를 찾아내 처벌하기 쉽지않다. 특히 저작물이 워낙 빠르게 확산되고 소비되다 보니 가짜뉴스의 확산 자체를 막는 게 더욱 힘들다. 선관위는 ‘신속한 확산 저지’를 목표로 3단계 접근법을 구축했다. 1단계는 자체 제작한 ‘AI 지능형 사이버 선거범죄 대응 시스템’으로 위법성이 의심되는 정치 관련 게시물을 자동 수집해 검토한다. 이후 범용 프로그램으로 실제 딥페이크 저작물인지 확인하고, 가짜일 확률이 높을 경우 삭제 요청을 한다. 아주 정교한 딥페이크 저작물은 생성형 AI 전문가인 전문 위원 3명에게 자문하는데, 지금까지 이런 사례는 없었다. 외국은 딥페이크를 활용한 선거 왜곡 시도가 더욱 심각하다. 지난달 미국 뉴햄프셔 유권자들에게 걸려 온 28초가량의 전화에서 조 바이든 미국 대통령의 목소리를 흉내 낸 ‘로보콜’(녹음된 음성이 재생되는 자동전화)은 실제와 똑같았다. 가짜 바이든은 “여러분의 투표는 이번 화요일이 아니라 11월에 변화를 만들 수 있다”며 민주당 경선에 참여할 필요가 없다고 해 유권자들에게 혼란을 주었다. 튀르키예의 지난 5월 대선도 딥페이크 저작물이 흔들었다. 레제프 타이이프 에르도안 튀르키예 대통령은 터키 분리주의 단체인 쿠르디스탄노동자당(PKK)이 상대 후보인 케말 클루츠다로을루를 지지하는 노래를 부르는 영상을 뿌려 지지자의 반감을 자극했다. AI로 조작한 영상이었지만, 에르도안 대통령은 이겼다. 지난해 9월 슬로바키아에서도 선거를 며칠 앞두고 친미 성향의 야당 대표가 맥주가격 인상과 선거 조작 계획을 논의한 것처럼 꾸민 딥페이크 음성이 확산했다. 이 음성 역시 가짜로 판명됐지만 야당 패배의 주요 원인 중 하나로 지목됐다. 영국에서는 소셜미디어(SNS) 틱톡에서 사디크 칸 런던 시장이 정전협정일 행사의 중요성을 부인하는 가짜 음성이 유포돼 논란이 일었다. 해당 음성은 문법적 오류가 많았지만 칸 시장의 억양을 정확히 재현해 얼핏 듣기에 진위를 가리기 어려웠다고 한다. ■ 딥페이크(Deepfake)란 딥페이크(Deepfake)란 인공지능 기술인 딥러닝(Deep learning)과 ‘가짜’를 의미하는 단어인 페이크(Fake)의 합성어다. 딥러닝을 이용해 원본 이미지나 동영상 위에 원본과는 관련 없는 이미지를 결합해 진위를 구별하기 어렵게 만든 가짜 이미지나 영상물을 뜻한다. 딥페이크라는 단어가 등장한 것은 2017년 말로 미국 온라인 커뮤니티 레딧의 한 회원이 기존 영상에 유명인의 얼굴을 입혀 가짜 포르노 영상을 게재한 데서 유래됐다. 이후 온라인 커뮤니티와 소셜미디어(SNS)를 중심으로 급속히 확산한 딥페이크 콘텐츠는 최근 딥페이스랩(DeepFaceLab), 페이스스와프(Faceswap) 같은 오픈 소스 형태의 영상 합성 제작 프로그램이 배포되면서 더욱 성행하고 있다.

중앙선거관리위원회 ‘딥페이크 특별대응 모니터링반’이 그간 129건의 정치·선거 관련 딥페이크 저작물을 걸러낸 것으로 확인되면서 전문가들은 네이버, 카카오 같은 대형 플랫폼이 선제적으로 딥페이크를 적발·차단해야 한다고 지적했다. 특히 딥페이크를 이용한 북한의 선거 개입 가능성에 대비하자는 제언도 있었다. 김명주 서울여대 바른 AI 연구센터장은 19일 통화에서 “(선관위가) 딥페이크 여부를 확인하는데 최소 하루 이상이 걸린다”며 “열성 지지자가 선거 하루 전에 상대 후보에게 불리한 딥페이크 저작물을 유포한다면 현재 선관위 인력으로는 이에 대응하기 힘들 것”이라고 평가했다. 이어 “(딥페이크가 실제와) 똑같지는 않지만 비슷한 정도는 되니, 유권자들이 (딥페이크 저작물을 보고) 원하는 대로 해석할 가능성이 크다”고 덧붙였다. 국가기관인 선관위로서는 딥페이크 저작물을 적발했을 때 포털에 의뢰해 삭제할 콘텐츠인지 법적 처벌을 의뢰할 저작물인지를 신중하게 판단해야 하지만, 온라인의 빠른 콘텐츠 확산 속도를 감안할 때 이미 딥페이크 소비가 끝났을 수 있다. 특히 ‘리페이스’와 같은 어플리케이션을 사용해 딥페이크 사진을 만드는 데 걸리는 시간은 1~2분, 영상도 5분이면 제작이 가능해 물량 공세에 맞닥뜨릴 수도 있다. 이성엽 고려대 기술경영전문대학원 교수는 “역정보나 허위 정보를 퍼뜨린다는 면에서 페이크 영상 같은 것을 북한에서 만들어 유포할 가능성도 배제하기 힘들다”며 “딥페이크를 감지하고 플랫폼에서 차단하는 방식으로 규제가 이뤄져야 한다”고 말했다. 북한이 딥페이크 영상을 유포해 총선 앞 국론 분열을 노려 공격에 나설 수 있다는 의미다. 영국 옥스포드대는 북한에 대해 3개 이상의 국가기관이 소셜미디어(SNS) 여론 조작에 개입하는 것으로 평가한 바 있다. 네이버나 카카오 등 대형 플랫폼의 자체 딥페이크 적발을 위해서는 딥페이크 탐지·삭제, 계정 차단, 사이트 차단 등의 권한을 쥔 공공부문과 협업이 필요하다는 제언도 있다. 딥페이크 민관 태스크포스(TF)를 구축하는 방식이다. 다만 장병탁 서울대 AI연구원장은 “똑같은 칼로 요리할 건지, 수술할 건지, 사람을 다치게 하는 데 쓸 건지를 정하는 상황”이라며 “칼 자체를 개발하지 못하도록 하면 요리 발전, 수술 발전에 도움이 되지 않는다”고 말했다. 엄격한 판단을 통해 딥페이크 저작물을 처리해야지, 딥페이크 생산 자체를 근본 차단해 기술 발전을 막아서는 안 된다는 의미다.

‘갈색 베레모를 쓴 백발 노인이 한 카페에 앉아 멀리 시선을 둔 채 생각에 잠긴 듯 촉촉한 눈을 깜빡인다. 노인은 이내 뭔가 생각이 떠오른 듯 희미한 미소를 짓는다. 눈가와 수염이 난 입가에 살짝 주름이 파인다.’ 마치 영화 속 한 장면과 같은 영상은 사실 챗GPT 개발사인 오픈AI가 생성형 인공지능(AI) 기술로 만들어 낸 것이다. 영상 속 따뜻한 색감의 조명과 핸드헬드(카메라를 손에 들고 찍음) 촬영 기법으로 찍은 듯 조금씩 흔들리는 시야 등도 모두 AI가 ‘창조’했다. 오픈AI가 지난 15일(현지시간) 자사 홈페이지를 통해 공개한 동영상 생성 AI ‘소라’를 두고 충격적이란 반응과 함께 ‘딥페이크’(AI 기술로 만든 가짜 영상) 악용 우려가 동시에 나오고 있다. 그동안엔 막대한 시간과 비용을 투자해야만 만들 수 있었던 수준의 영상을 소라는 단 몇 줄의 명령어(프롬프트)만으로도 만들어 낼 수 있기 때문이다. 뉴욕타임스(NYT)는 소라가 공개되자 “깜짝 놀랄 영상을 순식간에 생성하는 AI”라고 소개했다. 18일까지 X(옛 트위터)엔 소라를 이용해 생성한 것으로 추정되는 15초짜리 동영상들이 입력한 프롬프트와 함께 속속 올라오고 있다. 소라 서비스 이용 권한을 제한적으로 제공받은 예술 종사자들이 만든 것으로 추정된다. 이를 접한 사용자들은 “방금 충격적인 걸 봤다”는 등 놀라움을 표현하며 영상을 공유하고 있다. 오픈AI에 따르면 소라는 최대 1분짜리 고품질 영상을 생성할 수 있다. 다만 현재는 15초 분량을 만들 수 있는 서비스를 일부 영상 제작자, 시각 예술가 등에게만 시범으로 제공하고 있다고 밝혔다. 오픈AI가 소라를 이용해 만들었다고 공개한 영상 샘플 40여 편은 AI가 빛과 물리법칙에 대해 깊이 이해하고 있다는 걸 보여 줬다. 도쿄 번화가의 화려한 간판 불빛이 젖은 길거리에 거울처럼 비친 모습, 설원을 달리는 매머드의 발바닥에 눈이 붙었다 떨어지는 모습, 잔 속에서 일렁이는 커피의 파도에 요동치는 해적선들의 움직임 등까지 완벽하게 표현했다. 비현실적인 장면도 컴퓨터그래픽(CG) 이상의 품질로 구현했다. 오픈AI는 또 딥페이크 우려를 예상한 듯 “잘못된 정보, 혐오 콘텐츠, 편견과 같은 분야 전문가들로 ‘레드팀’을 구성해 안전성 테스트를 할 것”이라고 밝혔다. 특히 “복잡한 장면에서 물리법칙을 정확하게 재현하는 데 어려움을 겪을 수 있으며, 원인과 결과의 특정 사례를 이해하지 못할 수도 있다”고 소라의 약점을 공개하기도 했다. 그럼에도 딥페이크로 인한 정치 혼란, 사생활 침해 등 우려를 잠재우진 못하고 있다. 소라가 보여 준 수준의 기술이면 학습할 데이터가 많은 유력 정치인의 아주 정교한 가짜 영상을 만드는 것은 ‘식은 죽 먹기’라는 평가가 일반적이다. 미국 앨런 AI 연구소 창립자이자 워싱턴대 교수인 오렌 에치오니 박사는 자신의 X 계정을 통해 “이런 영상들 때문에 박빙의 선거가 뒤집힐까 봐 정말 두렵다”고 말했다. 한 X 사용자는 “누가 내 사진으로 가짜 영상을 만들까 봐 이제 소셜미디어에 사진도 못 올리겠다”고 했다. 연기자, 분장사, 의상, 조명예술가, CG 일러스트레이터 등의 일자리가 위협받는 것도 문제다. 최근 넷플릭스 시리즈 ‘살인자ㅇ난감’에는 배우 손석구의 어릴 적 사진을 이용한 딥페이크 아역이 등장했다. 영화 CG 일러스트레이터인 리드 사우든은 “2022년 미드저니(이미지 생성 AI)가 처음 나왔을 때 우리는 ‘귀엽다’며 비웃었지만 이제 사람들은 생성 AI 때문에 일자리를 잃고 있다”고 말했다.

지난해 11월 말 챗GPT 출시 1주년을 앞두고 오픈AI 이사회와 샘 올트먼 최고경영자(CEO)가 충돌한 기저에는 인공지능(AI)이 인류에 번영을 가져다 줄 것이라고 생각하는 ‘부머’(Boomer)와 생존을 위협하게 될 것이라고 경고하는 ‘두머’(Doomer)의 갈등이 깔려 있었다.#잠재적 위험챗GPT 이어 AGI 등장 눈앞인간의 의사결정 대체 우려 9년 전 미국 실리콘밸리에서 막역하게 지내던 두 억만장자 일론 머스크 테슬라 CEO와 래리 페이지 구글 창립자가 서먹해진 것도 AI 논쟁 때문이었다. 2015년 7월 머스크의 생일 파티에서 만난 둘은 AI의 미래에 대한 대화를 시작했다. 페이지는 “AI와 인간이 결합한 신인류의 탄생”을 주장했고 머스크가 이에 “기계가 인류를 파괴할 것”이라고 맞서면서 분위기는 과격해졌다. 페이지는 머스크를 “종차별주의자”라고 부르면서 그와 절연했다. 그해 머스크는 올트먼과 오픈AI를 공동 창립하면서 구글 딥마인드의 수석과학자 일리야 수츠케버까지 영입해 이사회에 합류시켰다. 비영리 기업으로 출발한 오픈AI가 챗GPT의 혁신이 거듭될수록 사업을 확장하고 자금 조달, GPT 스토어를 통한 영리화 등을 추진하자 수츠케버가 이끄는 오픈AI 이사회는 ‘초심을 잃은’ 올트먼의 축출을 결정했다. 수츠케버 같은 효율적 이타주의자들은 종국에는 AI가 일자리 상당수를 없애고, 허위 조작 정보를 퍼뜨려 민주주의 공론장을 왜곡시키며, 결국에는 인간의 의사결정마저 대체해 인간을 지배할 것이라 우려하고 있다. 이처럼 인간의 지능을 능가하는 범용인공지능(AGI)이 등장하고 결국 인류를 파멸시킬 특이점(singularity)이 도래할 것이라는 불안감이 AI를 규제해야 한다는 생각의 기초가 됐고, 유럽연합(EU)과 미국 등 세계 각국에서 AI 규제법을 고민하게 하는 주요 쟁점으로 떠올랐다. AI의 잠재적 위험에 대처하기 위해 발 빠르게 움직이려 하지만 인간이 주도하는 행정부와 의회는 AI의 발전 속도를 따라가지 못하는 게 현실이다. 미국 의회는 의원들이 AI의 작동 원리를 거의 이해하지 못한다고 공개적으로 인정하기도 했다.#첫 규제법편견 고착화 금지·출처 표시 등EU, 초안 승인… 위반 땐 벌금 미 의회가 공개한 기업 로비 정보에 따르면 지난해 상반기에 마이크로소프트(MS)와 구글의 로비스트 169명 중 상당수가 백악관 관료와 의원들을 만나 AI 법안을 논의했다. 올트먼도 척 슈머 민주당 상원 원내대표, 케빈 매카시 공화당 하원의원이자 전 하원의장, 테드 류 민주당 하원의원 등 100명 이상의 의원을 만났다. 에마뉘엘 마크롱 프랑스 대통령, 리시 수낵 영국 총리 등 그가 지난해 만난 국가 수반만 해도 수두룩하다. 한 기술 로비 단체는 올해 AI의 이점을 홍보하기 위해 2500만 달러(약 330억원) 규모의 캠페인을 추진하기도 했다. 미국 빅테크 기업들이 자율 규제 움직임을 주도하는 사이 EU는 지난해 12월 각국이 합의한 세계 최초의 포괄적 AI 규제 법률안을 도출했다. EU 집행위원회는 누구도 AI 규제에 별다른 관심이 없던 2018년부터 전문가 수천 명의 의견을 수렴해 2021년 4월 125페이지에 달하는 AI 규제법 초안을 발표했다. 당시 법안에서는 금융, 소매업, 자동차, 항공 등 광범위한 산업 분야에 사용되는 AI 기술에 대한 포괄적인 규제 표준을 설정하는 것을 목표로 했다. EU는 이 법이 AI를 다루는 글로벌 모델이라고 환영했지만 14개월 뒤 챗GPT가 생성형 AI 붐을 일으키자 처음부터 다시 논의에 들어가야 했다. AI에 관한 가장 공격적인 규제를 시도해 온 EU조차도 AI 발전을 예상하고 규제안을 마련하는 데 속수무책이었다는 방증이다. 챗GPT, 구글 바드 등 강력한 AI 도구가 등장한 현실에 맞춰 EU 의회는 AI 규제법에 범용 AI 관련 조항을 추가해 지난해 6월 14일(현지시간) 초안을 통과시켰다. #나라별 대응美, 안전·보안 중점 표준 추진日, 초안 작성… 中, 일부 제한 딥러닝을 이용한 합성 기술인 ‘딥페이크’로 조작된 사진과 음성, 영상을 생성하는 챗봇과 소프트웨어는 사람들이 보고 있는 것이 AI에 의해 생성된 것임을 명확히 밝혀야 한다. 경찰과 정부의 안면 인식 소프트웨어 사용은 특정 안전 및 국가안보 예외 사항 아니고는 제한된다. 특히 정치, 종교, 성적 지향, 인종 등 민감한 특성을 기준으로 사람을 분류하는 것은 엄격히 금지된다. EU 정책 입안자들은 AI를 규제하기 위한 ‘위험 기반 접근법’에 동의했는데 이 접근법에서는 정의된 애플리케이션이 가장 많은 감독과 제한을 받게 된다. 고용과 교육 등 개인과 사회에 가장 큰 잠재적 해악을 끼칠 수 있는 AI 도구를 만드는 기업은 규제 당국에 위험 평가에 대한 증거, 시스템 훈련에 사용된 데이터의 내역, 소프트웨어가 인종적 편견을 고착화하는 등 해악을 끼치지 않았다는 증거를 EU에 제출해야 한다. 또한 시스템을 만들고 배포할 때도 사람의 감독이 필요하다. 얼굴 인식 데이터베이스를 만들기 위해 인터넷에서 이미지를 무차별적으로 스크랩하는 것과 같은 일부 관행은 전면 금지될 것으로 보인다. AI 규제법에는 규정 위반 기업에 전 세계 매출의 최대 6%에 달하는 벌금을 부과하는 내용도 포함됐다. 최종 법안은 13일 유럽의회 담당 위원회 표결을 거쳐 이르면 오는 3월 의회 본회의에서 의결하고 실제 적용은 2026년쯤에야 될 전망이다. 자국 AI 스타트업을 보호하기 위해 과도한 규제에 반대했던 프랑스는 기술 투명성과 기업 기밀 간 균형을 맞추는 한편 고위험 AI 체계에 대한 행정적 부담을 줄인다는 조건을 확보하면 찬성 의사를 표명할 계획이라고 AFP 통신은 전했다. 미국에서는 지난해 10월 30일 조 바이든 행정부가 AI 모델의 안전, 보안, 테스트 표준 등 국가안보에 미치는 영향에 초점을 맞춘 AI 관련 행정명령을 발표했다. 연방정부가 워터마크를 제작해 배포함으로써 정부 기관에 방향과 지침을 제공하고 규제 목표를 개괄적으로 제시하는 등 더 광범위하고 유연한 접근 방식이다. 이어 최근에는 상무부 소속 국립표준기술연구소(NIST)를 중심으로 AI 안전 표준을 수립하는 ‘AI 안전 컨소시엄’을 구성했다. MS, 구글, 애플, 아마존, 메타, 엔비디아, 인텔, IBM, 오픈AI, 앤트로픽, JPO 모건, 뱅크오브아메리카 등 빅테크와 금융 업계를 망라하는 200여개 기업 및 연구소가 참여했다. #의미와 한계‘글로벌 가이드라인’ 첫걸음빠른 기술변화 대응은 미지수 글로벌 빅테크 기업들이 지난해 자체적으로 ‘AI 안전 서약’을 내놨으나 미국 의회 의결이 더뎌지면서 행정부 주도로 AI 표준 마련에 나선 것이다. 일본은 AI 기술에 대한 구속력 없는 가이드라인 초안을 작성 중이며 영국은 기존 법률이 AI 기술을 규제하기에 충분하다고 판단하면서 아직까지 표준화에는 신중하게 접근하고 있다. 중국은 데이터 사용과 추천 알고리즘 등 특정 유형의 AI에만 제한을 두고 있다. 미 일간 뉴욕타임스(NYT)는 EU의 AI 규제법 초안 통과 당시 “EU가 AI를 규제하는 최초의 법률을 마련하기 위한 중요한 걸음을 뗐다”면서 “(EU의 AI 규제법 초안은) 빠르게 발전하는 기술에 가드레일을 설치하려는 전 세계 정책 결정자들에게 잠재적 모델이 될 수 있다”고 전했다. 그러나 “빠르고 빈번하게 변화하는 AI 환경에 쉽게 적응하기에는 역부족”이라는 월스트리트저널(WSJ)의 평가가 대체적인 현실이다.