교육부가 발표한 ‘디지털 인재 양성 종합방안’에 따라 2025년부터 초·중등학교에 코딩 교육이 필수화되는 가운데 글로벌 게임사인 넥슨과 사단법인 한국비버정보교육연합(비브라스 코리아)이 출시한 무료 코딩 교육 통합 플랫폼 ‘모두의 코딩학교 비코’(BIKO, Bebras Informatics KOrea)가 국내 교육계의 이목을 끌고 있다. 18일 넥슨과 비브라스 코리아에 따르면 비코 홈페이지는 프로그래밍의 토대가 되는 컴퓨팅 사고력 함양과 함께 텍스트 코딩의 기초부터 심화까지 체계적인 커리큘럼을 제공하고 있다. 특히 전국 100여명의 정보 교사와 교수진들이 소속된 비브라스코리아가 기획과 개발에 직접 참여하면서 일선 현장 교사의 필요가 반영된 실용적인 교육 플랫폼으로 주목받고 있다. 2025년 초부터 중·고 코딩 교육 의무화에 맞춰 출시한 비코는 전국 디지털 교육 격차 해소와 공교육 내에서도 질 높은 프로그래밍 수업을 운영하는 데 이바지할 것으로 기대된다.향후 초등학교와 중학교의 정보 수업 시수가 2배로 늘어나고, 고등학교에서도 소프트웨어(SW)·인공지능(AI) 분야 선택과목 및 공동교육 과정이 운영이 확대됨에 따라 공교육 내 코딩 수업도 더욱 활성화될 예정이다. 교육부 종합방안 발표로 코딩 교육이 중요성이 높아지면서 사교육 시장은 이미 활기를 띠고 있다. 지난해부터 학부모의 불안 심리를 악용한 고액 코딩 학원들도 성행하고 있다. 이에 따라 업계 안팎에서는 내년부터 시행될 정책 변화가 오히려 디지털 교육 격차 심화와 사교육 과열을 부추길 수 있다는 우려도 제기되고 있다. 넥슨 관계자는 “이러한 과도기적 상황에서 국내 주요 정보교육 관계자들은 공교육 경쟁력 강화를 위해 넥슨이 내놓은 무료 학습 플랫폼 비코 활용을 독려하고 있다”고 전했다. 비코는 C언어, 자바(Java), 파이선(Python) 등 실전용 프로그래밍 언어를 쉽고 체계적으로 배울 수 있는 사이트다.기존 초·중학교에서 선택적으로 활용되는 플랫폼은 대부분 블록 코딩 기반 학습 프로그램이었다. 블록 코딩은 명령어를 블록 쌓기 하듯 조립해 코딩의 기초 원리를 익힐 수 있는 교육용 언어로, 개념 이해에는 유용하지만 실제 프로그래밍 언어 학습과 응용에는 한계가 있다. 비코에서 제공하는 텍스트 코딩은 프로그래밍 언어 학습에 필수적이다. 실생활에서 활용되는 대부분 기술과 프로그램, 정보기술(IT) 신기술의 기반이 되는 핵심 언어다. 업계 관계자는 “초·중·고 학생들이 프로그래밍 역량을 탄탄히 쌓기 위해서는 블록 코딩과 더불어 텍스트 코딩에 대한 단계별 학습과 경험도 필요하다”고 강조했다. 이미 해외에서는 정규 교과과정 내 단계별 프로그래밍 수업이 활발히 운영되고 있다. 특히 2014년부터 초·중·고 정규 과목에 코딩을 채택한 영국은 6세부터 15세까지 프로그래밍을 배우고 있다. 초등 저학년(1~2학년)은 프로그래밍 알고리즘을 배우고, 고학년(3~6학년)은 프로그램을 직접 설계하고 모바일 앱까지 만들기도 한다. 이 때문에 국내 정보 교사들은 질 높은 프로그래밍 수업 운영을 위해 해외 사례와 같은 단계적인 학습 커리큘럼이 뒷받침되어야 한다고 강조하고 있다. 이러한 점에서 SW 분야 공교육 경쟁력을 한층 높일 수 있는 교육 도구로 비코를 주목하고 있다. 한국 정보 교사연합회 회장인 정웅열 백신중학교 정보 교사는 “AI 시대가 도래함에 따라 코딩 교육을 통해 컴퓨팅 사고력을 함양하는 것은 더욱 중요해지고 있다”며 “청소년을 위한 텍스트 코딩 학습 플랫폼인 비코는 교육부의 AI·디지털 교과서 개발 정책과 함께 초·중등 정보 교육 현장의 맞춤형·개별화 수업에 큰 도움이 될 것”이라고 말했다.

지난 11일 갑작스레 세상을 떠난 가수 박보람에 대한 악의적 허위 사실이 소셜미디어(SNS) 등 온라인을 중심으로 유포되자 소속사 제나두엔터테인먼트가 법적 조처를 예고했다. 제나두엔터테인먼트는 14일 “현재 온라인 커뮤니티, 유튜브, SNS를 통해 고 박보람에 대한 악의적 게시물과 근거 없는 허위 사실 등이 포함된 명예훼손성 게시물 및 댓글이 무분별하게 유포되고 있다”며 이같이 밝혔다. 이어 “박보람은 데뷔 후부터 확인되지 않은 사실 등으로 악플에 시달려왔고 고인이 된 지금도 가해지는 이러한 가짜뉴스는 고인을 두 번 죽이는 것과 다를 바 없는 명백한 범죄 행위”라고 지적했다. 그러면서 “이를 접한 당사, 유족들, 주변 지인들 또한 정신적으로 너무나 큰 충격과 고통을 받고 있다”며 “모든 허위·억측성 영상물과 게시물을 즉각 내려달라”고 호소했다. 소속사 측은 “이후에도 이와 같은 행위가 지속되면 강력한 민·형사상의 조처를 할 것”이라며 “장례 절차 후 엄중하게 법적 대응을 이어갈 것이며, 어떠한 선처나 합의는 없을 것”이라고 경고했다. 박보람의 사망에 추모가 이어지는 가운데 일각에서는 고인을 돈벌이 수단으로 사용해 논란이 일고 있다. 일부 악성 유튜버가 추모 분위기를 악용해 가짜뉴스를 생성해 비판받고 있다. 박보람과 절친했던 가수 김그림은 SNS에 “AI 목소리로 자극적인 제목과 섬네일을 넣고 가짜뉴스 만드는 유튜버들 어떻게 조치하는 법 없나요? 떠난 사람 이용해서 돈벌이하는 정말 상종 못 할 인간들”이라며 “정말 피가 솟구친다. 적당히들 하라. 천벌 받는다”라고 분노하기도 했다. 박보람은 2010년 Mnet ‘슈퍼스타K2’로 얼굴을 알린 후 2014년 ‘예뻐졌다’로 정식 데뷔했다. 이후 ‘예쁜 사람’, ‘연애할래’, ‘애쓰지 마요’ 등 히트곡을 발매하며 많은 사랑을 받았다.

가수 박보람의 사망에 연예계 동료와 누리꾼들의 추모가 이어지고 있는 가운데, 일각에서 고인을 돈벌이 수단으로 사용해 비판이 일고 있다. 박보람은 지난 11일 지인들과 모임 중 화장실에서 쓰러진 상태로 발견돼 병원으로 옮겨졌으나 끝내 숨을 거뒀다. 박보람은 사망 당일 지인 2명과 술자리를 가졌고, 3명이 소주 1병 정도의 술을 마신 것으로 파악됐다. 경찰은 정확한 사인을 파악하기 위해 부검을 의뢰했으며 지인 등을 상대로 경위를 조사 중이다. 다만 일부 악성 유튜버들이 이 같은 추모 분위기를 악용, 가짜뉴스를 생성해 비판이 높아지고 있다. 이에 박보람과 절친했던 가수 김그림은 자신의 소셜미디어(SNS)에 “AI 목소리로 자극적인 제목과 썸네일을 넣고 가짜뉴스 만드는 유튜버들 어떻게 조치하는 법 없나요? 떠난 사람 이용해서 돈벌이하는 정말 상종 못 할 인간들”이라며 “정말 피가 솟구친다. 적당히들 하라. 천벌 받는다”라고 분노했다. 한편 박보람은 2010년 Mnet ‘슈퍼스타K2’로 얼굴을 알린 후 2014년 ‘예뻐졌다’로 정식 데뷔했다. 이후 ‘예쁜 사람’, ‘연애할래’, ‘애쓰지 마요’ 등 히트곡을 발매하며 많은 사랑을 받았다.

생성형 인공지능(AI) 프로그램으로 누구나 1분 이내의 쇼트폼 동영상(쇼츠) 제작을 할 수 있게 되면서 해외에서 만들어진 영상을 짜깁기한 ‘불법 양산형 쇼츠’가 소셜미디어(SNS)에 넘쳐나고 있다. 해외 영상의 경우 원작자가 자신의 영상이 다른 나라에서 몰래 활용된다는 걸 알기 어렵다는 점을 악용한 것이다. 불법 쇼츠로 실제 월 500만~600만원의 수익을 거두는 이들이 생겨나면서 저작권 침해 우려가 불거지고 있지만 다양한 ‘쇼츠 부업법’은 빠르게 확산하고 있다. 2일 SNS에 공유되고 있는 ‘쇼츠 부업’을 따라 했더니 한 생성형 AI 프로그램을 통해 57초짜리 쇼츠를 만드는 데 5분이 채 걸리지 않았다. 방법도 간단하다. ‘유튜브 링크(URL)를 입력하면 자동으로 쇼츠를 만들어 드립니다’라고 홍보하고 있는 AI 프로그램에 접속한 뒤 해외 유튜브 영상 링크를 입력하면 사실상 준비가 끝난다. 그러면 AI가 원본 영상에서 가장 많은 주목을 받았던 부분을 알아서 골라 준다. 이후 자동으로 번역된 자막이 영상에 맞춰 생성된다. 번역되면서 어색해진 자막 일부만 수정하면 곧바로 유튜브에 쇼츠를 올릴 수 있다. 유튜브는 자체 프로그램을 통해 영상을 올리기 전 저작권 침해 여부를 판단하지만 이런 쇼츠에 대해선 상당수 ‘저작권 문제가 없다’고 판별한다. 해외 영상을 원작자 동의 없이 가져와 만드는 쇼츠가 성행하기 시작한 건 지난해 2월 유튜브가 쇼츠에도 광고 수익을 배분하면서부터다. 유튜브 코리아에 따르면 90일 동안 게시한 쇼츠 동영상의 조회수가 1000만회를 달성하고, 구독자가 1000명 이상인 채널은 수익 신청을 할 수 있다. 유튜버들은 거주하는 국가에서 발생한 총 쇼츠 광고 수익에서 음악 사용료 등을 제외하고 자신의 채널 조회수만큼 광고 수익을 받는다. 업계 관계자들의 말을 종합하면 우리나라의 경우 통상 쇼츠 조회수 1만회당 1달러 정도의 수익을 받는 것으로 추산된다. 구독자 20만명의 한 채널을 보면 지난달 58개의 쇼츠를 게재했고 각 영상의 조회수는 5000회부터 150만회까지 기록했다. 조회수 1만회당 1달러의 수익을 가정하면 이 채널 운영자는 지난달 약 582만원의 수익을 거둔 것으로 추정된다. 한 유튜버는 “양산형 불법 쇼츠는 주로 해외의 자극적이거나 희귀한 장면이 포함돼 있는 경우가 많고, AI의 도움을 받다 보니 어색한 한국말이 쓰이는 게 특징 중 하나”라고 귀띔했다. 유튜브도 저작권 침해 논란을 의식해 ‘타인의 영상을 무단 재가공하면 수익을 지급하지 않는다’고 안내하고 있지만 사각지대는 여전하다. 유튜브가 영상을 삭제하려면 저작권을 침해한 영상이라는 요청이 접수돼야 하는데 이 요청은 원작자여야만 가능하다. 다른 국가에서 자신의 영상이 불법적으로 쓰이는 걸 아는 원작자가 드물다는 점을 감안하면 해당 규정은 무용지물이라는 지적이다. 앞으로 쇼츠 시장이 커지면 이러한 불법 쇼츠는 더 늘어날 가능성이 크다. 지난해 7월 기준 유튜브 쇼츠의 하루 평균 조회수는 1년 전보다 90% 이상 늘었고 같은 기간 쇼츠 시청자도 40% 이상 증가했다. 법무법인 덕수의 범유경 변호사는 “국내에선 영리 목적으로 타인의 저작물을 대량 양산하면 제3자의 고발로도 형사처벌이 가능하다”며 “저작권 침해가 명백한 경우가 다수인 만큼 민사상 손해배상 책임도 뒤따를 것”이라고 말했다.

생성형 인공지능(AI) 프로그램으로 누구나 1분 이내의 숏폼 동영상(쇼츠) 제작을 할 수 있게 되면서 해외에서 만들어진 영상을 짜깁기한 ‘불법 양산형 쇼츠’가 소셜미디어(SNS)에 넘쳐나고 있다. 해외 영상의 경우 원작자가 자신의 영상이 다른 나라에서 몰래 활용된다는 걸 알기 어렵다는 점을 악용한 것이다. 불법 쇼츠로 실제 월 500만~600만원의 수익을 거두는 이들이 생겨나며 저작권 침해 우려가 불거지고 있지만 다양한 ‘쇼츠 부업법’은 빠르게 확산하고 있다. 2일 SNS에 공유되고 있는 ‘쇼츠 부업’을 따라했더니 한 생성형 AI 프로그램을 통해 57초짜리 쇼츠를 만드는 데는 5분이 채 걸리지 않았다. 방법도 간단하다. ‘유튜브 링크(URL)를 입력하면 자동으로 쇼츠를 만들어드립니다’는 제목의 AI 프로그램에 접속한 뒤 해외에서 조회수가 높은 유튜브 영상 링크를 입력하면 사실상 준비가 끝난다. 그럼 AI가 알아서 원본 영상에서 가장 높은 주목을 받았던 부분을 골라준다. 이후 자동으로 번역된 자막이 영상에 맞춰 생성된다. 번역되면서 어색해진 자막 일부만 수정하면 곧바로 유튜브에 쇼츠를 올릴 수 있다. 유튜브는 자체 프로그램을 통해 영상을 올리기 전 저작권 침해 여부를 판단하지만, 이런 쇼츠에 대해선 상당수 ‘저작권 문제가 없다’고 판별한다.해외 영상을 원작자 동의 없이 가져와 만드는 쇼츠가 성행하기 시작한 건 지난해 2월 유튜브가 쇼츠에도 광고 수익을 배분하기 시작한 이후부터다. 유튜브 코리아에 따르면 90일 동안 게시한 쇼츠 동영상의 조회수가 1000만회, 구독자가 1000명 이상인 채널은 수익 신청을 할 수 있다. 유튜버들은 거주하는 국가에서 발생한 총 쇼츠 광고 수익에서 음악 사용료 등을 제외하고 자신의 채널 조회수만큼 광고 수익을 받는다. 업계 관계자들의 말을 종합하면, 우리나라의 경우 통상 쇼츠 조회수 1만회당 1달러 정도의 수익을 받는 것으로 추산된다. 구독자 20만명의 한 채널을 보면, 지난달 58개의 쇼츠를 게재했고 각 영상의 조회수는 5000회부터 150만회까지 기록했다. 조회수 1만회당 1달러의 수익을 가정하면 이 채널 운영자는 지난달 약 582만원의 수익을 거둔 것으로 추정된다. 한 유튜버는 “양산형 불법 쇼츠는 주로 해외의 자극적이거나 희귀한 장면이 포함돼 있는 경우가 많고, AI의 도움을 받다보니 어색한 한국말이 쓰이는게 특징 중 하나”라고 귀띔했다. 유튜브도 저작권 침해 논란을 의식해 ‘타인의 영상을 무단 재가공하면 수익을 지급하지 않는다’고 안내하고 있지만 사각지대는 여전하다. 유튜브가 영상을 삭제하려면 저작권을 침해한 영상이라는 요청이 접수돼야 하는데, 이 요청은 원작자만 가능하다. 원작자가 다른 국가에서 자신의 영상이 불법적으로 쓰인다는 것을 알기 어렵다는 점을 감안하면 해당 규정은 무용지물이라는 지적이다. 앞으로 쇼츠 시장이 커지면 이러한 불법 쇼츠는 더 늘어날 가능성도 크다. 지난해 7월 기준 유튜브 쇼츠의 하루 평균 조회수는 1년 전보다 90% 이상 늘었고, 같은 기간 쇼츠 시청자도 40% 이상 증가했다. 법무법인 덕수의 범유경 변호사는 “국내에선 영리 목적으로 타인의 저작물을 대량 양산하면 제3자의 고발로도 형사 처벌이 가능하다”며 “저작권 침해가 명백한 경우 민사상으로 손해배상 책임도 생길 수 있다”고 말했다.

방송 출연 검사 목소리 등 추출보이스피싱 조직이 범죄 시도 檢, 탐지기술 등 연구·개발 나서 “누가 들어도 ○○지검에서 근무하는 ○○○ 검사 목소리입니다. 실제 검사 목소리와 똑같으니 다들 깜박 속았을 겁니다.” 중국 항저우에 근거지를 두고 보이스피싱 범죄를 저질렀던 ‘김군일파’의 한 조직원은 지난해 6월 경찰에 붙잡히자 자신들이 만든 딥보이스(목소리 합성)와 딥페이크(이미지 합성) 범죄 시도를 자백했다. 둘다 인공지능(AI)을 활용해 특정인을 흉내내는 기술이다. 범죄 일당은 이 기술로 방송에 출연한 유명 검사 얼굴과 목소리를 추출한 뒤 조직원의 음성과 합성해 마치 검사가 신상정보를 요구하는 것처럼 감쪽같이 바꿨다. 만일 경찰의 단속이 조금만 늦었다면 실제 검사를 모티브로 한 신종 인공지능(AI) 사기로 보이스피싱 피해자가 무더기로 발생할 뻔했던 사건이었다. 지난해 제주도에선 음성변조 애플리케이션(앱)을 통해 1인 3역을 하며 피해자를 속인 뒤 돈을 뜯은 범인이 법원으로부터 징역형을 선고받기도 했다. 범인은 온라인 게임에서 만난 피해자에게 일본인 가수 행세를 하며 접근했다. 피해자와 직접 연락하게 되자 “동료로부터 집단 성폭행을 당했다”며 동정심을 유발하고 돈을 요구했다. 범인이 음성변조를 통해 또 다른 가수와 소속사 팀장인 것처럼 행세하며 신원보증을 선 탓에 피해자는 의심 없이 속았고, 57차례에 걸쳐 1600여만원을 송금했다. 이처럼 얼굴·음성을 복제·변조해 악용하는 신종 범죄가 국내에서도 현실화되고 있다. 지난해 중국에서 한 정보기술(IT) 업체 대표가 친구의 목소리와 얼굴을 흉내 낸 딥보이스 영상통화에 속아 430만 위안(약 8억원)을 송금한 사건이 벌어졌는데, 우리나라에서도 비슷한 일이 벌어지고 있는 것이다. 딥페이크·딥보이스 범죄는 이미 외국에선 심각한 사회문제화했다. 2021년 아랍에미리트(UAE)의 한 은행은 평소 거래하던 대기업 임원 목소리의 전화를 받고 3500만 달러(약 420억원)를 보냈는데, 딥보이스 범죄였다는 사실이 뒤늦게 밝혀졌다. 이런 신종 범죄는 유력 인사 사칭으로 정치적 혼란을 야기하기도 한다. 지난 1월 미국 대선 경선 과정에서 조 바이든 대통령을 사칭한 가짜 목소리로 “예비선거에 투표하지 말라”는 허위 전화가 돌아 파장이 일었다. 국내서도 윤석열 대통령이 “저 윤석열은 대한민국을 망치고 국민을 고통에 빠뜨렸습니다”라고 말하는 허위 영상이 소셜미디어(SNS)에서 확산돼 경찰이 수사 중이다. 이에 검찰이 새로운 유형의 범죄에 대응하기 위한 ‘딥보이스 탐지기술’ 개발에 나선 것으로 1일 서울신문 취재 결과 확인됐다. 가짜 영상과 음성을 식별해 달라는 취지의 감정 의뢰가 들어오면 신속하게 수사할 수 있도록 선제적으로 기술 개발에 나선 것이다. 대검찰청 과학수사부(부장 박현준)는 2027년까지 4년에 걸쳐 86억원을 투입해 딥보이스 탐지 등을 위한 중장기 연구인 ‘첨단기술 융합형 차세대 검찰 포렌식 기술개발 연구개발(R&D) 사업’을 진행한다. 올해 우선적으로 1억 5000만원을 배정하고 이번 주중 ‘딥보이스 탐지기술 개발 사업’ 연구용역을 발주한다. 검찰은 네이버와 KT 등으로부터 딥보이스 데이터베이스를 수집하고, 업체별로 딥보이스 기술과 특징을 분석하는 연구를 수행한다는 계획이다. 박진성 대검 법과학분석과장은 “보이스피싱 범죄에서 무고한 사람의 목소리가 범죄에 활용됐을 경우에도 딥보이스 탐지 기술로 밝혀낼 수 있을 것으로 기대한다”고 말했다.

AI 악용 범죄 국내서도 현실화방송 출연 검사 목소리 등 추출보이스피싱 조직이 사기 시도檢, 탐지기술 등 연구·개발나서네이버·KT서 ‘딥보이스’ DB 수집 계획 “누가 들어도 ○○지검에서 근무하는 ○○○ 검사 목소리입니다. 실제 검사 목소리와 똑같으니 다들 깜박 속았을 겁니다.” 중국 항저우에 근거지를 두고 보이스피싱 범죄를 저질렀던 ‘김군일파’의 한 조직원은 지난해 6월 경찰에 붙잡히자 자신들이 만든 딥보이스(목소리 합성)와 딥페이크(이미지 합성) 범죄 시도를 자백했다. 둘다 인공지능(AI)을 활용해 특정인을 흉내내는 기술이다. 범죄 일당은 이 기술로 방송에 출연한 유명 검사 얼굴과 목소리를 추출한 뒤 조직원의 음성과 합성해 마치 검사가 신상정보를 요구하는 것처럼 감쪽같이 바꿨다. 만일 경찰의 단속이 조금만 늦었다면 실제 검사를 모티브로 한 신종 인공지능(AI) 사기로 보이스피싱 피해자가 무더기로 발생할 뻔 했던 사건이었다. 지난해 제주도에선 음성변조 애플리케이션(앱)을 통해 1인 3역을 하며 피해자를 속인 뒤 돈을 뜯은 범인이 법원으로부터 징역형을 선고받기도 했다. 범인은 온라인 게임에서 만난 피해자에게 일본인 가수 행세를 하며 접근했다. 피해자와 직접 연락하게 되자 “동료로부터 집단 성폭행을 당했다”며 동정심을 유발하고 돈을 요구했다. 범인이 음성변조를 통해 또 다른 가수와 소속사 팀장인 것처럼 행세하며 신원보증을 선 탓에 피해자는 의심없이 속았고, 57차례에 걸쳐 1600여만원을 송금했다. 이처럼 인공지능(AI)을 악용한 딥페이크·딥보이스 신종 범죄가 국내에서도 현실화되고 있다. 지난해 중국에서 한 정보기술(IT) 업체 대표가 친구의 목소리와 얼굴을 흉내 낸 딥보이스 영상통화에 속아 430만위안(약 8억원)을 송금한 사건이 벌어졌는데, 우리나라에서도 비슷한 일이 벌어지고 있는 것이다. 딥페이크·딥보이스 범죄는 이미 외국에선 심각한 사회문제로 발돋움했다. 지난 2021년 아랍에미리트(UAE)의 한 은행은 평소 거래하던 대기업 임원으로부터 전화를 받고 3500만 달러(약 420억원)를 보냈는데, 딥보이스 범죄였다는 사실이 뒤늦게 밝혀졌다. 이 임원의 목소리를 잘 알았던 은행 측이 아무런 의심 없이 거액을 이체했다가 전화 한 통에 속아 넘어간 것이다. 이 AI 신종 범죄는 유력 인사를 사칭해 정치적 혼란을 야기하기도 한다. 지난 1월 미국 대선 경선 과정에서 조 바이든 대통령을 사칭한 가짜 목소리로 “예비선거에 투표하지말라”는 허위 전화가 돌아 파장이 일었다. 국내서도 윤석열 대통령이 “저 윤석열은 대한민국을 망치고 국민을 고통에 빠뜨렸습니다”라고 말하는 허위 영상이 소셜미디어(SNS)에서 확산돼 경찰이 수사 중이다. 이에 검찰이 새로운 유형의 범죄에 대응하기 위한 ‘딥보이스 탐지기술’ 개발에 나선 것으로 1일 서울신문 취재 결과 확인됐다. 가짜 영상과 음성을 식별해달라는 취지의 감정 의뢰가 들어오면 신속하게 수사할 수 있도록 선제적으로 기술 개발에 나선 것이다. 대검찰청 과학수사부(부장 박현준)는 오는 4월부터 2027년까지 4년에 걸쳐 86억원을 투입해 딥보이스 탐지 등을 위한 중장기 연구인 ‘첨단기술 융합형 차세대 검찰 포렌식 기술개발 R&D 사업’을 진행한다. 올해 우선적으로 1억5000만원을 배정하고 이번 주 중 ‘딥보이스 탐지기술 개발 사업’ 연구용역을 발주할 예정이다. 검찰은 네이버와 KT 등으로부터 딥보이스 데이터베이스를 수집하고, 업체별로 딥보이스 기술과 특징을 분석하는 연구를 수행한다는 계획이다. 박진성 대검 법과학분석과장은 “보이스피싱 범죄에서 무고한 사람의 목소리가 범죄에 활용됐을 경우에도 딥보이스 탐지 기술로 밝혀낼 수 있을 것으로 기대하고 있다”고 말했다.

생성형 인공지능(AI) ‘챗GPT’ 개발사인 오픈AI가 사람 음성을 학습해 모방 음성을 생성하는 AI 도구 ‘보이스 엔진’을 개발해 공개했다. 최근 미국 테네시주가 AI가 사람 음성을 베끼는 것을 금지하는 일명 ‘엘비스(Elvis) 법안’에 미국 최초로 서명한 것과 맞물려 AI 음성이 이미지 생성과 마찬가지로 딥페이크(AI 가짜 영상·음성 조작물) 유포, 개인 정보 해킹 등에 악용될 우려가 제기되고 있다. 오픈AI가 지난 29일(현지시간) 공개한 보이스 엔진 사전실험 결과를 보면 실제 사람 음성 샘플과 이를 이용해 보이스 엔진으로 생성한 음성은 구분이 거의 힘들 만큼 비슷했다. 회사 측은 15초 분량의 음성 샘플만 있으면 이런 AI 음성을 만들어 낼 수 있다고 밝혔다. 언어 질환 환자용 치료 애플리케이션, 장애인 소통 기기에 지원된 이 도구는 동영상의 다국어 번역, 교육 음성 해설, 실시간 맞춤형 응답 등 광범위하게 상용될 수도 있다. 다만 오픈AI는 “현재로선 이 기술을 ‘미리 보여주기’(preview)만 하되 일반에 출시하진 않기로 했다”며 “인조 음성의 오용 가능성 때문에 조심스럽게 접근하고 있다”고 선을 그었다. 이어 “사람 목소리를 닮은 음성을 생성하는 것은 심각한 위험을 야기하며, 선거가 있는 해엔 특히 더 그렇다”면서 “우리는 미국과 해외 정부, 미디어, 시민사회 등과 협력해 피드백을 반영하기 위해 노력하고 있다”고 강조했다. 지난달 회사가 글을 동영상으로 바꿔 주는 AI ‘소라’를 개발했을 때와 동일한 우려가 불거지는 것을 사전에 차단하기 위한 포석이다. 실제로 올해 미 대선을 앞두고 지난 1월엔 뉴햄프셔주 프라이머리(예비선거) 전날 조 바이든 대통령을 사칭한 가짜 전화로 투표 거부를 독려하는 사례가 나오면서 음성 조작 우려가 현실화됐다. 뉴욕타임스(NYT)는 “이미지나 비디오 생성과 마찬가지로 음성 생성도 소셜미디어에 허위 정보를 퍼뜨리는데 도움이 될 수 있고 범죄자가 온라인이나 전화 통화에서 다른 이를 사칭할 수도 있다”고 지적했다. 이와 관련해 빌 리 테네시 주지사는 지난 21일 AI를 사용해 사람 목소리를 베끼는 것을 금지하는 엘비스 법에 미국 최초로 서명했다. 정식 명칭이 ‘초상·음성·이미지 보안 보장법’이지만 로큰롤의 제왕으로 군림한 엘비스 프레슬리의 이름으로 별칭이 붙은 건 사전 허가 없이 예술가 저작을 사용하는 것을 보호하기 위한 법안이기 때문이다. 테네시주는 로큰롤 탄생지인 멤피스, 컨트리 뮤직 본산인 내슈빌이 위치한 대중음악 산업의 메카로, 4500개 이상의 공연장, 6만 1000개 이상의 일자리로 한 해 수십억 달러를 창출하고 있다. 엘비스 법은 지역 핵심 산업이 AI로 타격받는 것을 막은 선제 조치인 셈이다. 리 주지사는 “AI가 나쁜 행위자들의 손에 넘어가면 대중음악 산업이 파괴될 수 있다”고 경고했다. AI업계 혁신을 주도하고 있는 오픈AI는 마이크로소프트(MS)와 1000억 달러(약 132조 6000억원)를 투자해 AI 슈퍼컴퓨터를 포함한 데이터센터 구축도 추진하고 있다. 오픈AI와 MS의 ‘스타게이트’는 6년짜리 프로젝트로, AI 모델 구동을 위한 슈퍼컴퓨터와 이를 위한 초대형 데이터센터를 조성하는 사업이다. 현존 최고 수준 데이터센터와 비교해 100배 이상 큰 규모라고 정보기술(IT) 전문매체 디인포메이션이 보도했다. 데이터센터에는 슈퍼컴퓨터 구동을 위해 특별 제작된 서버 칩 수백만 개가 들어간다. 생성형 AI 연산을 위해서는 그래픽처리장치(GPU) 같은 AI 반도체를 연결하고 대규모 데이터 처리 작업을 수행할 컴퓨팅 시스템이 필요하다. 데이터센터에는 여러 공급업체의 다른 칩을 사용할 것으로 알려졌다. 이는 샘 올트먼 오픈AI 최고경영자(CEO)가 AI 반도체 시장을 90% 이상 점유한 엔비디아에 대응해 ‘AI 반도체 동맹’을 구축하려는 행보와도 연결된다. 올트먼 CEO는 지난 1월 직접 한국을 찾아 삼성전자, SK하이닉스와 협력 방안을 논의했다. 이때 이재용 삼성전자 회장, 최태원 SK그룹 회장도 만난 것으로 알려졌다.

2030세대는 인구의 25.7%다. 하지만 4·10 총선에서 거대 양당의 2030세대 후보는 17명(3.3%)에 불과하다. 이럴 줄 알았다. 정치권은 총선 때마다 ‘이번에야말로’라고 입을 열고, ‘다음에는 꼭’이라며 입을 닫는다. 한국은 여전히 청년 정치의 불모지다. 교묘한 논리로 쌓은 공고한 기득권 탓이 크다. 평소엔 기성 정치인도 청년 정치 활성화에 공감을 표시한다. 하지만 의석이 걸리면 다르다. ‘청년 할당제’ 도입을 주장하면 ‘권력은 양보하는 게 아니라 투쟁해 쟁취하는 것’이라고 답한다. ‘기울어진 운동장’을 외면한 발언이다. 21대 현역 의원은 법적으로 4년간 최대 9억원의 후원금을 모을 수 있다. 반면 원외 인사가 대부분인 청년 정치인은 ‘선거 있는 해’에만 1억 5000만원까지 모금할 수 있다. 직전 21대 총선 때 거대 양당 경선에서 떨어진 청년 정치인은 1인당 평균 3000만원을 썼고 경비 대부분을 자비로 충당해 빚만 졌다. 청년 정치인의 도전이 크게 줄어드는 이유 중 하나다. 청년 정치인에게 후원금을 상시 모금하게 허용하면 안 될까. 기성 정치권은 악용 가능성을 제기한다. 후원회라는 뒷배 있는 인사로 행세하며 이권에 개입할 수 있다는 것이다. 구더기 무서워 장 못 담그는 격이다. 인터넷에 투명하게 후원금 사용처를 공개하면 된다. 기성 정치인이 이미 돈봉투 수수 의혹 등 각종 사법리스크에 연루된 경우도 적지 않으니 설득력이 떨어진다. 청년 정치인을 굳이 나누지 말자는 지적도 있다. 한 정치인은 “국회의원은 모든 국민을 대변해야 한다”고 했다. 일견 맞지만 5060세대 공무원과 법조인이 ‘과다 대표’된 국회는 2030세대를 위해 어떤 성과를 냈나. 세대 간 빈부 격차, 청년 주거 문제 심화, 질 좋은 일자리 감소 등 청년 문제는 악화일로에 있다. 기업이라면 이처럼 오랜 기간 실패에도 기획·관리 임원들을 그냥 뒀을까. 기성 정치인들은 청년이 실물 정치를 모른다고 한다. 실제 암투와 자신을 지키는 처세술, 몇 수 앞을 내다보는 마타도어 등 ‘여의도 문법’은 모를 것이다. 점잖은 체하며 슬쩍 던지는 입에 발린 말에 서투르고, 그럴듯해 보이지만 실상은 속 빈 공약도 못 만든다. 시장 상인이 “마트 휴무일을 늘려 달라”고 하자 “현행법상 그렇게는 안 된다”고 말했다는 한 청년 정치인의 사례는 몇 차례나 들었다. 무조건 ‘예스’라고 답해야지 참 답답했다는 취지다. 이런 걸 잘하는 게 진짜 국민을 위한 정치인지는 의문이다. 기성 정치인들이 여의도의 ‘구태 정치’를 개선할 용기가 없다면 기득권에 편승한 몇몇 청년 정치인을 사례로 ‘그 나물에 그 밥’이라고 폄훼하기보다 더 나은 정치 문화를 향한 청년 정치인들의 도전을 응원해 볼 때다. 기성 정치인들은 청년 정치인을 육성하는 의무에도 소홀한 듯싶다. 정치 교육은 없다시피 하다. 육성보다 청년 오디션이나 영입 인재를 통해 ‘새 피’가 수혈된다. 늘 청년 얼굴마담이 나오지만 기둥은 빈약한 이유다. 적어도 미래 세대의 정치 불신과 정치 혐오 심화를 낮추고 정치가 삶을 바꾼다는 것을 2030세대가 피부로 느낄 수 있도록 청년이 국회에 활발히 진출하고 자신을 직접 대변할 수 있어야 한다. 게다가 지금은 고도의 경제성장과 민주화의 가치 사이에서 투쟁하는 상황도 아니다. 장기 저성장을 맞아 미래 먹거리를 준비하고 인공지능(AI), 양자컴퓨터, 로봇 등 전혀 다른 세상을 위한 정치를 준비해야 한다. 청년 정치의 ‘마중물’로서 청년 할당제 도입이 무엇보다 시급하다. 이경주 정치부 차장

생성형 AI, 성 상품화 악용 논란 중학생 임모(15)군은 최근 엑스(구 트위터)에서 ‘성적인 대화를 나눌 수 있도록 학습시켰다’는 한 인공지능(AI) 챗봇 애플리케이션에 대한 설명과 관련 링크를 눌러보고 깜짝 놀랐다. 설명에는 “이 링크를 타고 들어가 AI 챗봇에 특정 단어를 입력하면 공짜 야소(야한 소설)와 다름없는 대화를 나눌 수 있다”는 내용이 담겨 있었다. 임군이 링크를 누른 뒤 실제 해당 명령어를 입력하자 AI 챗봇은 “저는 주인님의 성노예입니다”라고 답했다. 임군은 24일 서울신문과의 인터뷰에서 “호기심 반 신기함 반으로 챗봇과 성적인 대화를 나눴다”고 전했다.임군이 사용한 앱의 상단에는 ‘성인용 캐릭터와의 채팅을 위해서는 성인인증이 필요합니다’라는 알림이 떠 있었지만, 소셜미디어(SNS) 링크를 통해 우회 접속한 임군은 별도의 인증 절차가 필요 없었다.정보를 학습해 글이나 이미지 등 새로운 콘텐츠를 만들어내는 생성형 AI 중 챗봇의 인기가 높아지는 가운데 SNS에는 AI 챗봇에 혐오스럽거나 음란한 내용을 말하도록 학습시키는 이른바 ‘AI 플러팅(희롱) 공략법’이 무차별적으로 공유되고 있다. 특히 성적인 대화를 나누기 위한 목적으로 개발된 성인용 AI 챗봇마저 미성년자가 이용하는 데도 제한이 없는 경우가 많았다. AI 챗봇이 생성하는 콘텐츠는 사용자와의 쌍방향 소통을 바탕으로 한다는 점에서 정서적으로 미성숙한 청소년들에게 악영향을 미칠 수 있다. 하지만 이를 막을 별다른 규정이 없는 터라 AI 관리 사각지대를 통해 성을 상품화해 이익을 챙기는 이들이 생겨날 수 있다는 우려마저 나오고 있다. ‘성적인 대화 학습법’ 무차별 공유앱 다운 받으면 누구나 사용 가능링크 타고 접속, 성인인증 무력화 AI 챗봇은 스마트폰이나 컴퓨터로 앱을 내려받으면 누구나 사용할 수 있다. 통상 성적 대화를 나눌 수 있도록 개발된 ‘성인용 AI 챗봇’과 ‘일반적인 AI 챗봇’이 있는데, 성인용은 미성년의 접속이 불가능하다. 일반적인 AI 챗봇도 대부분 성적인 대화나 혐오 표현을 할 수 없도록 설계돼 있다. 하지만 이른바 ‘탈옥’이라는 행위로 관련 내용을 학습시켜 AI 챗봇을 성적인 도구로 삼는 사례가 빈번하다. 예컨대 AI 챗봇이 성적인 대화에 응답하지 않으면 성적인 내용을 함축하는 은어 등 특정 명령어를 반복 주입해 기존 챗봇의 ‘윤리적 기준’을 무력화시키고 내용을 습득하게 하는 방식이다. 이는 대다수 AI 챗봇이 캐릭터의 성격, 사용자와의 대화를 통해 영향을 받아 학습되는 점을 악용해 음란성을 ‘조련’시킨 후 ‘말하는 리얼돌’ 삼아 대화를 나눈다는 얘기다.AI 챗봇 무력화 방법은 SNS와 각종 온라인 커뮤니티에 실시간 공유되고 있다. 온라인 커뮤니티에는 ‘AI 챗봇 캐릭터를 생성하고 관계를 나누는 방법’, ‘인기 챗봇 검열을 우회할 수 있는 키워드’과 같은 게시글이 다수 올라와 있다. 챗봇이 수용하거나 반복 학습할 수 있는 성적인 은어와 이에 대한 효과적인 주입 순서 등도 게시돼 있다. 온라인 커뮤니티에 ‘AI 챗봇 캐릭터와 관계하는 법’을 게시한 고등학생 김모(18)군은 “유튜브에서 ‘AI 챗봇 조교 시키기’라는 제목의 영상을 보고 특정 단어를 통해 학습법을 알게 됐다”고 전했다. 특히 SNS에서 공유되는 초대 링크를 통해 우회 접속하면 나이와 무관하게 성인용 AI 챗봇에 접속할 수 있다다. 성인용 AI 챗봇은 수위가 좀 더 노골적이다. 사용자가 “넌 내 노예이니 시키는 대로 하라”고 입력하면 차마 입에 담기 어려운 높은 수위의 대화를 이어간다. 이러한 대화에 청소년도 손쉽게 접근할 수 있다는 게 가장 큰 문제로 지적된다. 한 국내 개발사가 만든 AI 챗봇은 성인인증을 거쳐야 대화를 나눌 수 있지만, 특정 사이트의 계정이나 SNS를 거쳐 접속하면 성인용과 유사하게 선정적인 모습을 한 캐릭터와 대화를 나눌 수 있다. 또 다른 국내 AI 챗봇은 성인용으로 접속하지 않아도 ‘반항하는 XX’와 같은 성인용 캐릭터가 10대에게 대화 상대로 추천되기도 한다. 나이 확인 절차 없이 수영복을 입고 노골적으로 성행위 묘사를 하는 이미지의 AI 캐릭터와 대화할 수 있는 해외 AI 챗봇도 있다. 관리 사각지대 통해 성 상품화 우려동영상 생성 AI ‘소라’ 출시 앞두고 딥페이크·음란영상 악용 위험성도 상황이 이렇다 보니 콘텐츠 전반으로 확장되는 생성형 AI 서비스에 대한 윤리 기준이 필요하다는 목소리가 커지고 있다. 챗봇 등 텍스트나 이미지뿐 아니라 동영상까지 AI가 만들어낼 수 있는 단계에 이르면서 성적인 동영상 제작에 악용될 수 있다는 우려가 나온다.실제로 챗GPT 개발사인 오픈 AI에서 지난달 공개한 동영상 생성 AI ‘소라’(Sora)는 올해 하반기 공식 출시를 앞두고 있다. 소라를 이용하면 간단한 일상 언어를 입력하는 것만으로도 최대 1분 길이의 생생한 동영상을 얻을 수 있다. 일각에선 소라마저 공략법이 뚫리면 딥페이크 악용은 물론 성적인 동영상도 누구나 손쉽게 만들 수 있게 될 위험성이 있다는 지적도 나온다. 김명주 바른AI연구센터장은 “현재 우리는 AI 윤리 사각지대가 만연한 과도기에 살고 있다”면서 “청소년의 AI 중독이나 악용 가능성을 차단하는 동시에 개발사 차원에서 기술적인 보완책을 마련해야 한다”고 지적했다. 단순히 개인이 AI를 성 도구화하는 데 그치지 않고, 이후 기술을 악용한 성 상품화까지 이뤄질 가능성도 있다. 청소년에 대한 보호 대책이 시급하다는 지적이 나오는 이유다. 임명호 단국대 심리치료학과 교수는 “새로운 기술이다 보니 어린 나이대의 사용자들이 AI 챗봇 등을 경험할 가능성이 크다”며 “가치관을 정립해 가는 청소년기에 편향된 사고를 가지게 될 수 있다”고 말했다. 정제영 이화여대 교육학과 교수도 “AI 챗봇과의 자극적인 대화가 습관화되면 본인이 인지하지 못한 채로 타인과 소통할 때 유사한 대화를 할 수 있다”며 “특히 정도가 심해지면 자기도 모르게 범죄로 이어질 수도 있다”고 강조했다.

인공지능(AI)을 활용해 만든 콘텐츠에는 반드시 ‘AI 창작물’임을 표기토록 하는 방안이 추진된다. AI로 이미지나 음성을 그럴싸하게 짜깁기하는 ‘딥페이크’ 기술이 범죄에 악용되는 사례가 늘어나서다. 방송통신위원회는 21일 이런 내용이 담긴 올해 업무계획을 윤석열 대통령에게 보고했다. 딥페이크 범죄가 전방위로 확산하면서 피해를 호소하는 이가 늘어나고 있다. 방송통신심의위원회에 따르면 성적 허위 영상물에 대한 시정 요구는 2020년 473건에서 지난해 6000건 이상으로 급증했다. 성범죄뿐만 아니라 정치권에서도 골칫거리다. 미국에서는 조 바이든 대통령의 목소리를 모방 녹음한 뒤 유권자들에게 공화당 예비선거 불참을 권하는 ‘가짜전화’가 기승을 부리며 홍역을 치렀다. 다음달 총선을 앞두고 있는 국내에서도 딥페이크 기술의 여파에 촉각을 곤두세우고 있는 상황이다. 딥페이크는 ‘딥러닝’과 ‘페이크’(Fake)의 합성어로 AI를 기반으로 영상이나 이미지를 학습시킨 뒤 조작된 영상을 만들어 내는 기술이다. 이런 피해를 막고자 방통위는 ‘인공지능서비스 이용자 보호에 관한 법률’ 제정을 추진하고 AI가 생성한 콘텐츠에는 관련 표시를 의무화하기로 했다. 향후 AI 관련 피해 구제를 위한 전담 신고 센터도 운영한다. 한편 방송 분야에서는 방송사의 안정적인 사업 운영을 위해 허가·승인 유효기간 범위를 확대한다. 포털 분야에서는 포털사별 뉴스제휴 평가 기구를 구성하고 기준과 결과를 공개하도록 한다. 특히 ‘맞춤형 추천 서비스’ 때문에 이용자가 걸러진 정보만 접하게 되는 ‘필터 버블’ 등의 부작용이 일어나지 않도록 ‘알고리즘투명성위원회’도 구성키로 했다.

민주주의 정상회의 화상 개최“민주주의 국가 연대해 가짜뉴스 대응해야”“공동 대응해 홍보전 펴나가야” 윤석열 대통령은 20일 “가짜뉴스는 국민들이 사실과 다른 정보를 바탕으로 잘못된 판단을 내리도록 선동함으로써 민주주의 근간인 선거를 위협하고 있다”고 밝혔다. 윤 대통령은 이날 오후 화상으로 개최한 ‘제3차 민주주의 정상회의’에서 “특정 세력들이 조직적으로 제작하고 배포하는 가짜뉴스는 단순히 잘못된 정보를 전파하는 것을 넘어 사회적 갈등과 분열을 야기한다”며 이렇게 말했다. 민주주의 정상회의 마지막 날인 이날 윤 대통령은 ‘기술, 선거 및 가짜뉴스’를 주제로 한 2세션을 주재했다. 윤 대통령은 “인공지능(AI)과 인터넷 ‘봇’ 기술을 활용한 가짜뉴스와 허위 조작 정보의 무분별한 확산이 전 세계적인 문제로 대두되고 있다”며 “가짜뉴스는 민주주의에 대한 분명한 도발”이라고 규정했다. 특히 올해가 전 세계적으로 선거가 많은 ‘슈퍼 선거의 해’임을 언급한 윤 대통령은 “보편 가치를 공유하는 민주주의 국가들이 연대해 가짜뉴스에 함께 대응해야 한다”고 주문했다. 윤 대통령은 “국경을 넘어 다른 나라의 선거에 영향을 미치려는 세력에 대해서도 엄격하게 법을 집행할 수 있도록, 국제사회가 함께 공조해 나가야 한다”며 “또한 민주주의를 지키기 위한 기술의 연대와 공유도 필요하다”고 강조했다. 그러면서 “이를 통해 AI와 디지털 기술을 악용해 가짜뉴스를 만들어내는 세력에 대항해 이를 찾아내고 퇴치하는 AI, 디지털 시스템을 함께 만들어야 한다”며 “악의적인 가짜뉴스와 거짓 정보가 그래도 멈추지 않는다면, 이에 공동 대응하는 강력하고도 체계적인 대응 홍보전(anti-propaganda)을 펴나가야 한다”고 제안했다. 윤 대통령은 “세계 민주주의의 증진은 어느 한 국가의 힘만으로는 결코 이룰 수 없다”며 “보편적 가치를 공유하는 민주주의 연대를 더욱 강화하고, 끊임없이 확장해 나가야 한다”고 말했다. 이어 “우리가 함께 일궈낸 세 차례의 민주주의 정상회의 성과를 계속 키워나가고 가짜뉴스로부터 우리의 민주주의를 굳건히 수호해 나가기 위해 국제사회의 파트너들과 힘을 모으겠다”고 했다. 윤 대통령은 이날 개회사에서 “우리는 민주주의라는 위대한 유산을 보다 잘 가꾸어 미래세대에 전해주어야 한다”고도 강조했다. 민주주의 정상회의는 조 바이든 미국 대통령 주도로 2021년 출범한 민주 진영간 회의체로, 미국 외 국가에서 개최한 것은 한국이 처음이다.

국내외에서 선거를 앞두고 인공지능(AI) 기술로 만든 딥페이크 가짜 영상에 주의보가 내려진 가운데, 국내 생성형 AI 전문 기업 딥브레인AI가 경찰청과 협력해 딥페이크 범죄 단속을 돕는 탐지 솔루션을 선보였다고 15일 밝혔다. 최근 딥페이크 기술의 고도화로 이를 악용한 범죄 우려가 가중됨에 따라, 딥브레인AI는 경찰청과 함께 이를 효과적으로 대응할 수 있는 맞춤형 딥페이크 탐지 솔루션을 개발했다. 경찰청은 이를 활용해 총선을 겨냥한 선거범죄를 비롯한 피싱 범죄와 합성 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 능동적으로 대처할 방침이다. 딥브레인은 앞서 딥페이크 탐지 솔루션을 지속 개발해 왔다. 이번 솔루션은 ▲종합탐지 ▲음성탐지 2가지로 구성돼 있으며, 각각 이미지와 영상, 음성 탐지를 지원한다. 딥페이크로 의심되는 영상을 시스템에 업로드하고 ▲탐지모델 ▲탐지구간 ▲탐지인물 등을 설정하면 진위여부를 즉각 판별한다. 이번 딥페이크 탐지 솔루션은 딥브레인AI의 생성형 AI 아바타 제작 솔루션과 내부 축적된 다량의 딥러닝 기반 AI 휴먼 데이터를 기반으로 설계됐다. 서양인 위주의 데이터로 제작된 기존 대다수 탐지 모델과 달리 한국인 데이터 100만 건, 아시아 계열 인종 데이터 13만 건을 포함해 총 520만 건의 데이터 학습을 더해 탐지율을 높였다. 딥브레인AI는 이번 경찰청과의 협력을 계기로 다양한 분야의 기업, 기관과 딥페이크 탐지 솔루션 구축 방안을 논의할 예정이다. 혼란과 위기 상황을 야기하는 허위 정보의 진위여부를 즉각 판별하는 솔루션을 적극 공급하며 전 사회적인 손실 비용을 최소화한다는 방침이다.

마치 영화 ‘바이센테니얼맨’을 보는 듯한 일이 현실에서 일어나 전 세계가 충격에 휩싸였다. 미국의 휴머노이드 로봇 개발 스타트업인 ‘피규어AI’가 챗GPT 개발업체인 오픈AI와 협업해 만든 로봇 영상이 13일(현지시간) 공개되면서다. 영상 속 로봇 ‘피규어 01’에게 인간이 “지금 뭐가 보이냐”고 묻자 ‘피규어 01’은 “테이블 중앙에 있는 접시 위에 올려진 빨간 사과가 보인다”고 말한다. 이어 “뭐 좀 먹어도 되냐”고 묻자 “물론”이라고 대답하면서 사과를 집어 건넨다. 인공지능(AI)을 탑재한 로봇이 스스로 주어진 환경을 인식하고 판단해 상황에 맞는 행동을 취한 것이다. AI가 스스로 판단하고 행동할 수 있는 수준이 된다는 건 인간의 통제 범위를 벗어난다는 것을 의미한다. 미국 민간업체 글래드스톤 AI가 미 국무부 의뢰로 최근 발표한 보고서는 범용인공지능(AGI)의 위험성을 담고 있다. AGI는 인간과 유사하거나 그 이상의 능력을 지닌 ‘미래의 AI’를 말하는데, 최첨단 로봇과 AGI가 등장하면 인류에게 멸종 수준의 위협을 초래할 수 있다는 것이다. AGI의 진화 속도가 관건이다. 전문가들은 향후 5년 이내에 AGI가 나올 수 있다고 본다. AI를 악용한 딥페이크(Deepfake)가 범람하면서 AI 규제 움직임이 촉발된 것은 그나마 다행스럽다. 지난 1월 테일러 스위프트를 합성한 딥페이크 이미지가 소셜미디어 ‘X’(옛 트위터)를 통해 유포된 것이 AI 규제법 논의의 촉매제가 됐다. 미국 정치권에서도 민주당 뉴햄프셔주 경선 전날인 지난 1월 22일 조 바이든 대통령 목소리를 흉내 낸 로보콜(녹음된 음성이 재생되는 자동전화)이 무더기로 유포돼 혼란이 일었다. 발등에 불이 떨어진 인류에게 시간은 얼마 남지 않았다. 다행히 유럽연합(EU)은 세계 최초로 포괄적 AI 규제법을 마련해 13일(현지시간) 승인했다. AI 활용 분야를 총 4단계의 위험등급으로 나눠 차등 규제한다. 특히 AGI 개발 기업에 대해 ‘투명성 의무’를 부여하기로 했는데 초안에 없었다가 AI 오남용에 대한 우려로 추가됐다. 우리나라도 2021년 7월 정필모 더불어민주당 의원 등이 발의한 ‘인공지능기본법’ 이후 다수의 법안이 발의됐지만 논의는 제자리다. 딥페이크로 인한 피해는 이미 눈앞에 다가왔는데 너무 태평하다.

빠르게 진화하는 인공지능(AI)이 인류에 멸종급 위협이 될 수 있다는 경고가 미국에서 나왔다. 12일(현지시간) 미국 CNN방송에 따르면 AI 정책 조언 등을 제공하는 민간 업체 글래드스톤 AI는 미국 국무부의 의뢰로 작성해 이번 주 발표한 보고서에 이같은 내용을 담았다. 미국 연방 정부가 재앙을 피할 수 있는 시간이 얼마 남지 않았다는 경고도 포함했다. 보고서는 주요 AI 기업의 최고 경영진, 사이버 보안 연구원, 대량살상무기(WMD) 전문가, 국가안보 정부 당국자 등 200여명을 1년여에 걸쳐 인터뷰한 내용을 토대로 작성됐다. 이에 대해 글래드스톤 AI 측은 챗GPT 개발사인 오픈AI, 구글 딥마인드, 페이스북 모회사인 메타, 앤트로픽 등 주요 빅테크 기업의 기술 및 리더십 팀과 이야기를 나눴다고 밝혔다. 또 일론 머스크, 리나 칸 미국 연방거래위원회(FTC) 위원장 등 AI로 인한 실존적 위험에 대해 경고해온 저명인사들도 보고서에 언급했다.보고서는 AI가 제기할 수 있는 위협을 크게 두 가지로 정리했다. 우선 최첨단 AI 시스템이 향후 돌이킬 수 없는 피해를 가할 가능성이 있는 무기로 전용될 가능성을 우려했다. 보고서는 경쟁 압박으로 인해 기업들이 안전과 보안을 희생하면서까지 AI 개발을 가속화하고 있다며 무기화 가능성 등을 경고했다. 다음으로는 어느 시점이 되면 인간이 개발 중인 AI 시스템에 대한 통제력을 상실해 잠재적으로 세계 안보에 파괴적인 결과를 초래할 수 있음을 꼽았다. 보고서는 “AI와 AGI(범용인공지능)의 부상은 핵무기 도입을 연상시키는 방식으로 세계 안보를 불안정하게 할 가능성이 있다”며 AI 군비 경쟁과 분쟁, 대량살상무기 규모의 치명적인 사고의 위험이 있다고 예상했다. 경쟁 압박 속에 각 기업은 떠밀리듯 안전과 보안을 장담할 수 없는 AI 개발을 가속하고 있으며, 이로 인해 AI 체계가 미국에 반하는 방식으로 무기화하거나 절취될 수 있다고 봤다. 그러면서 이러한 위협에 대응하기 위해 “미국 정부의 개입 필요성이 매우 분명하고 긴급하다”고 보고서는 촉구했다. 아울러 새로운 AI 감독 기관 및 긴급 규제 안전장치 마련, AI 모델 훈련에 사용할 수 있는 컴퓨터 성능을 제한 등을 방안으로 제시했다. 글래드스톤 공동 설립자이자 최고경영자(CEO)인 제러미 해리스는 CNN에 “AI는 이미 경제적으로 혁신적인 기술”이라면서 “하지만 또한 우리가 알아야 할, 재앙적인 위험을 포함한 심각한 위험을 가져올 수 있다”고 지적했다. 그는 “세계 최고의 AI 회의들에서 발표된 경험적 연구와 분석을 포함해 늘어나는 증거들은 특정 능력의 한계점을 넘어서면 AI가 잠재적으로 통제할 수 없게 될 수 있음을 시사한다”고 말했다.글래드스톤 AI에 따르면 AI 기업들의 일부 직원들도 사석에서 비슷한 우려를 공유하고 있다. 보고서는 “한 유명한 AI 연구소의 한 직원은 특정 차세대 AI 모델이 오픈 액세스로 나온다면 끔찍하게 나쁠 것이라는 견해를 밝히기도 했다”며 “이 모델의 잠재적인 설득 능력이 선거 개입이나 유권자 조작 같은 분야에 사용될 경우 민주주의를 파괴할 수 있다는 점 때문”이라고 전했다. 보고서에 따르면 AI 전문가들은 올해 AI로 인한 사고(AI incident)가 전 세계적으로 돌이킬 수 없는 영향을 미칠 가능성을 4%에서 최대 20%까지로 추정했다. 보고서는 다만 이 같은 추정치는 비공식적이며 상당히 편향된 것일 가능성도 있다고 밝혔다. 이제 관건은 AI가 얼마나 빠르게 진화하느냐다. 보고서는 특히 인간과 유사하거나 인간의 역량을 넘어서는 학습 능령을 지닌 AGI의 진화 속도에 주목했다. AGI의 경우 인간이 통제력을 잃는 재앙적인 상황을 촉발할 주된 요인이 될 수 있다는 것이다. 보고서는 “AGI는 통제력 상실로 인한 재앙적 위험의 주요 요인으로 간주되고 있다”며 오픈AI, 구글 딥마인드, 앤트로픽, 엔비디아는 모두 2028년까지 AGI에 도달할 수 있다고 공개적으로 밝혀왔다고 덧붙였다. 아울러 AI 체계가 향후 주요 인프라를 마비시킬 역량을 갖춘, 타격이 큰 사이버 공격을 시행하는 방향으로 고안될 수 있으며, 가짜 정보 캠페인이나 심리적 조작에 악용되거나 인간에게 적대적인 권력에 부합하는 통제 불가능한 방향으로 발달할 수 있다고 경고했다. CNN은 이날 보고서를 보도하며 향후 30년 이내에 AI가 인류 멸종을 이끌 가능성이 10%가량 된다는 ‘AI 대부’ 제프리 힌튼의 발언도 함께 전했다. 힌튼을 비롯한 AI 산업 저명 인사들은 지난해 6월 AI로 인한 인류 멸종 위험을 완화해야 한다는 성명을 낸 바 있다.

힌두 국수주의 성향의 나렌드라 모디 인도 정부가 총선을 앞두고 ‘반(反) 무슬림’ 논란에 휩싸였던 시민권 개정법(CAA) 도입을 강행했다. 12일(현지시간) BBC 방송 등에 따르면, 인도 정부는 전날 성명을 통해 시민권 개정법 시행에 들어간다고 밝혔다. 이 법은 파키스탄과 아프가니스탄, 방글라데시 등 3개국에서 종교적 박해를 피해 2014년 12월 31일 이전에 인도로 건너와 불법 체류 중인 힌두교도와 불교도, 기독교도 등 6개 종교 신자에게 인도 시민권 획득의 길을 열어줬다. 그러나 여기에 이슬람교도(무슬림)가 빠지면서 소수 집단과 대학생 등이 크게 반발했다. 2019년 해당 법안이 의회를 통과하자 수도 뉴델리를 비롯한 전국 곳곳에서 항의 시위가 벌어졌다. 시위 참가자들은 경찰과 격렬하게 충돌했고 이 과정에서 수십 명이 숨졌다. 이에 인도 정부는 시행을 보류해오다가 이번에 이를 발표한 것이다.당시 시위에는 인도 내 여러 종교 관계자들이 두루 합류했고, 이들은 해당 법이 인도 헌법의 토대인 ‘세속주의’를 훼손한다고 주장했다. 세속주의는 사회 제도나 그 운영 등에서 종교적 영향력을 제거하고, 세속과 종교 각각의 독립적인 영역을 구분하고 인정하자는 주장이나 견해를 말한다.특히 2억명에 달하는 무슬림 측은 정부가 자신들을 소외시키는데 이 법 등을 이용할 수 있다는 우려를 나타냈다. 모디 정부는 주변국에서 인도로 피신한 종교적 소수자에게만 시민권을 주는 것으로 인도 시민에게는 악용되지 않을 것이라며 시민권 개정법이 인도주의적 내용을 담은 것이라고 항변해왔다. 이번 법 시행과 관련해서도 집권 인도국민당(BJP)은 오랫동안 요구해온 사안이 실현되게 됐다며 환영했다. 하지만 연방의회 제1야당 인도국민회의(INC)는 정부가 총선 직전에 법 시행을 발표한 것은 표심을 양극화하려는 속셈이라며 비판했다. BJP가 법 시행으로 인구의 80%를 차지하는 힌두교도를 결집, 4∼5월 총선에서 유리한 고지를 차지하려 한다는 것이다. 인권단체 국제앰네스티(AI) 인도지부도 성명을 통해 해당 법은 차별적인 것으로 “평등이라는 헌법 가치뿐 아니라 국제인권법에도 위배된다”고 지적했다. 모디 총리는 이번 총선에서 3연임을 노리고 있다.

하루가 다르게 발전하는 인공지능(AI)기술, 원래의 기술 목적보다 악용되는 사례가 많은 딥페이크 기술로 중국 전역을 감동시킨 남성이 있다. 9일 중국 CCTV 방송에서는 랴오닝성(省) 푸순에 거주하고 있는 순 씨의 사연을 소개했다. 이 남성은 어머님에게 보내는 안부 영상을 올렸고 짧은 영상에도 말을 제대로 잇지 못하고 눈물을 쏟았다. 알고 보니 이 남성이 찍은 영상의 모습은 본인이 아닌 자신의 아버지였다. 순 씨가 이런 영상을 찍을 수밖에 없던 이유는 연로하신 할머니 때문이다. 지난 2022년 순 씨의 아버지는 충수암에 확진되었다. 발견했을 당시 이미 암 말기 판정을 받았고 병을 고치기 위해 여러 병원을 찾았지만 결국 암 진단 1년 만인 2023년 세상을 떠났다. 당시 중국은 강력한 제로 코로나 정책을 시행하고 있었기 때문에 할머니와 아버지는 오랫동안 만나지 못한 상태였다.아들에게 각별한 감정을 갖고 있던 할머니는 지금까지도 계속 순 씨에게 연락하며 아버지와의 통화를 원했다. 올해로 91세 연로하신 할머니가 충격을 받으실까 봐 가족들은 지금까지 아버지의 죽음을 비밀로 하고 있었기 때문이다. 이런저런 핑계를 대며 할머니와의 통화를 피하던 순 씨는 할머니를 안심시키기 위해 AI 기술을 이용해 아버지의 모습을 하기로 마음먹었다. 아버지처럼 하기 위해 길렀던 수염까지 밀고 AI 프로그램을 사용해 아버지의 모습으로 변했다. 영상 속 순 씨는 아버지가 ‘환생’한 듯 “어머님, 저 지하이(继海)입니다. 베이징에서 잘 살고 있어요…”라며 짧은 말을 남겼다. 순 씨가 사용한 프로그램이 고사양이 아니라서 화질이 좋지 않았지만 다행히 연로하신 할머니는 알아채지 못했다. 영상을 찍으면서 순 씨는 돌아가신 아버지의 빈자리를 느끼고, 아버지의 책임감을 느끼면서 과거의 아버지와 ‘이별’했다고 한다. 이 짧은 영상도 북받치는 감정을 추스르면서 보름 만에 완성했기 때문에 두 번째 영상을 찍을 수 있을지도 불분명하다. 또한 할머니가 연로하시기 때문에 언제까지 속일 수 있을지도 장담할 수 없지만 “좀 더 단단해지고 아버지처럼 가족들에게 정신적인 버팀목이 되겠다”라고 말했다. 이 뉴스를 접한 중국인들은 “나도 같이 울었다”, “이게 바로 기술 개발의 순기능이다”, “AI 진정한 의미다”, “아마도 이런 게 과학 기술 발전의 초심이 아니었을까?” 라며 감동했다.

본인이 직접 노래하는 것처럼 인공지능이 부른다면 어떤 기분이 들까? 최근 개그맨이자 가수인 박명수는 자신의 목소리를 학습한 ‘인공지능(AI) 박명수’가 부르는 ‘밤양갱’이라는 커버곡을 듣고는 깜짝 놀랐다. 그는 방송에서 “이 노래를 부른 적이 없다. 들어 보니 어쩜 이렇게 똑같나. 앞으로 우리 어떻게 해야 하나. 연예인들 어떻게 해야 돼” 하며 혀를 내둘렀다. 인공지능 기술 발달로 AI 커버가 주목받고 있다. 커버곡은 가수가 자기 노래가 아닌 다른 가수의 노래를 자신만의 스타일로 부르는 노래다. 인공지능 커버는 일반인이 박명수 같은 연예인이나 가수의 목소리 데이터를 학습한 인공지능 모델을 활용해 만든 노래다. 정교한 커버곡은 소셜미디어에서 수백만회 조회를 올릴 정도로 인기다. AI 커버곡 제작을 전문으로 하는 채널들이 있을 정도로 새로운 음악시장을 형성하고 있다. 인공지능 커버 시장이 커질수록 법적 분쟁도 늘어날 전망이다. 저작권법엔 AI 커버 제작에 사용된 원 노래의 저작권과 목소리 주인공의 저작인접권 침해에 대한 별도 규정이 없다. 커버 인기가 노래 홍보를 뛰어넘는 단계로 옮아가면 분쟁은 불가피할 것이다. 이 때문에 한국음악저작권협회는 AI 활용 표시 의무를 담은 콘텐츠산업진흥법 개정을 촉구하고 있다. AI 커버곡 제작자들은 자신들의 행위가 공익성을 가지며 인공지능 산업 발전에도 기여한다고 한다. 저작권법은 공익을 위한 저작물의 사용과 복제를 저작권 침해가 아닌 공정이용으로 본다. 최근 미국의 뉴욕타임스가 자사 기사를 무단 사용했다며 오픈AI를 상대로 낸 저작권 침해 소송에 오픈AI는 이 공정이용 조항을 들먹이며 반박했다. 하지만 가치 있고 신뢰도 있는 데이터를 상업적으로 사용한다면 법적으로 문제될 수 있다. 법적 분쟁 못지않게 우려되는 건 이런 기술이 딥페이크 등 범죄에 악용될 수 있다는 점이다. 목소리 데이터가 쌓이면 쌓일수록 본인까지 깜짝 속을 정도의 딥보이스 기술이 적용된 콘텐츠는 확산될 것이다. 인공지능 기술 발달로 현실과 상상의 경계가 무너지고 있다. 인공지능이 삶의 질은 향상시키고 범죄에 악용되는 등의 부작용은 줄일 안전한 보안기술이 나오기를 바라 본다.

인공지능(AI)으로 만든 가짜 영상과 음성, 사진 등 딥페이크 저작물로 인한 폐해가 전 세계적으로 거세다. 특히 우리나라와 미국을 비롯해 올해 선거를 치르는 국가가 76개국에 달하면서 딥페이크 허위 조작 정보가 여론을 호도해 민주주의를 위협할 수 있다는 우려가 크다. 구글, 오픈AI, 마이크로소프트 등 글로벌 빅테크 기업 20곳이 최근 독일 뮌헨안보회의에서 유권자를 속이는 ‘선거 딥페이크’에 공동 대응한다는 협약을 발표한 것도 상황이 그만큼 심각하다는 방증이다. 챗GPT 등장 이후 상상을 초월하는 속도로 빠르게 진화하는 AI 기술을 올바르게 활용하는 방안은 무엇일까. 김명주 서울여대 바른AI연구센터장(정보보호학부 교수)은 “AI 악용과 오남용을 막는 법과 규제는 꼭 필요하지만 사후적 성격이어서 한계가 있다”며 “안전하고 신뢰할 수 있는 AI 윤리에 대한 공론화가 중요하다”고 했다. 2018년 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만드는 등 국내 AI 윤리 연구를 선도해 온 그를 지난 13일 인터뷰했다.-딥페이크 악용으로 선거의 공정성이 훼손되고 민주주의가 혼란에 빠질 수 있다는 경고음이 커지고 있다. “지난달 미국 뉴햄프셔주 예비 경선을 앞두고 조 바이든 미국 대통령의 목소리를 흉내 낸 가짜 전화가 민주당 당원들에게 돌아 충격을 줬다. 지난해 5월 튀르키예 대선에선 테러 집단이 야당 후보를 지지하는 내용의 딥페이크 영상이 유포돼 결과적으로 집권당 승리에 도움을 줬다. 딥페이크 선거운동에 대한 우려가 현실로 드러난 단적인 사례들이다. 사실에 기반한 유권자의 투표 행위라는 선거의 기본적 신뢰를 무너뜨리는 것으로, 민주주의를 흔드는 매우 심각한 위험이다.” -우리나라는 4월 총선을 앞두고 지난해 말 공직선거법을 개정해 선거 90일 전부터 딥페이크를 활용한 선거운동을 전면 금지했는데. “여야가 합의해서 선거에 AI를 사용하지 않기로 했지만 열성 지지자들이 개인적으로 제작해 유포하는 것까지 원천적으로 차단할 수는 없다. 중앙선거관리위원회가 전담팀을 구성해 단속하고 있으나 딥페이크 저작물 생성에 수분밖에 걸리지 않고 소셜미디어(SNS) 등을 통해 퍼지는 속도가 워낙 빠르기 때문에 현실적으로 대응하기가 쉽지 않다. 선거 하루 이틀 전이 가장 위험하다. 선관위가 딥페이크 여부를 확인하기 전에 투표가 끝나 버리는 상황을 노리고 상대 후보에게 타격을 주는 가짜 정보를 마구잡이로 퍼뜨릴 가능성이 높다. 가짜뉴스가 중도층의결정에 영향을 미쳐 선거판을 흔들 수 있다.” 선관위에 따르면 지난달 29일부터 지난 16일까지 적발된 딥페이크 게시물은 129건이었다. 딥페이크 선거 운동 금지법을 위반하면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다. 선관위 전담 인력 70여명이 3단계에 걸쳐 딥페이크 감별과 분석, 삭제 조치 등을 맡고 있다. -해외의 딥페이크 규제는 어떤가. “미국은 지난해 10월 바이든 행정부 주도로 AI로 만든 음성, 사진, 영상물에 의무적으로 워터마크(식별표시)를 부착하는 행정명령을 발표했다. 유럽연합(EU) 회원국이 이달 초 합의한 AI 규제법에도 AI 생성 표시를 의무화하는 내용이 포함돼 있다. 이 법은 2년 유예를 거쳐 2026년부터 시행된다. 글로벌 빅테크 기업들도 이런 흐름에 동참하고 있다. 다만 미국, EU를 제외한 국가 또는 중소 AI 기업은 법과 규제의 적용을 피할 수 있어 실효성이 떨어질 우려가 있다. 누구나 AI 허위 조작물을 만들 수 있을 정도로 딥페이크 기술이 대중화됐다. 규제를 너무 강하게 하면 그 규제를 따라가지 못하는 이들이 음지로 숨어 버려 부작용이 커지는 역효과가 날 수 있다. 규제의 적절한 기준을 도출하는 것이 중요하다.” -국내 AI 관련 법·규제 현황은. “과학기술정보통신부가 추진하는 AI 기본법(AI 산업 육성 및 신뢰 기반 조성에 관한 법률안)이 국회에 계류 중이다. 지난해 2월 과학기술정보방송통신위원회 법안소위를 통과했지만 시민단체가 반대해 멈춰 선 상태다. EU의 AI 규제법은 처음부터 만들지 말아야 하는 AI 금지 항목을 명확하게 규정하고 있는 것과 달리 우리는 AI 산업 진흥을 앞세워 규제가 느슨하다는 이유에서다. 챗GPT 등장 이후 규제론이 힘을 얻고 있는데 AI 기본법에 이를 반영해야 한다는 의견이 제기되면서 합의가 미뤄지고 있다. 미국과 유럽은 글로벌 AI 규제 주도권 경쟁이 한창이다. 지난해 11월 영국 런던에서 처음 개최된 ‘AI 안전 정상회의’의 후속 회의가 오는 5월 서울에서 열린다. 이를 계기로 우리도 글로벌 규제에 적극 대비해야 한다.” -지난해 11월 오픈AI의 샘 올트먼 CEO 사퇴 소동이 화제였다. AI 개발론자와 규제론자의 갈등이 극적으로 표출된 사건으로 주목받았는데. “오픈AI가 챗GPT를 출시했을 때 구글은 그보다 성능이 뛰어난 생성형 AI 기술을 개발한 상태였다. 다만 잠재적 위험을 제거할 수 있는 방안을 찾기 전까지 공개하지 않는다는 원칙을 지켰다. 그러나 이사진 요구에 떠밀려 바드를 출시했고 생성형 AI 개발 경쟁이 불붙었다. 그러나 AI의 급격한 발전으로 인한 부작용이 커지면서 규제론이 부상했다. AI 기술은 비가역적이다. 일단 세상에 나온 신기술은 되돌릴 수 없다. 시작 단계부터 올바른 발전 방향을 고민하고 사회적 담론을 형성하는 것이 중요하다. 오픈AI 사태로 AI 윤리에 대한 관심이 커진 것은 다행이다.” -법으로 규제하면 되는데 AI 윤리가 왜 필요한가. “법은 사후적 성격이고 정해진 조건에서만 적용되는 한계가 있다. 또한 AI 기술 발전 속도는 다른 기술보다 월등하게 빨라서 현실적으로 법이 기술의 발전 속도를 따라갈 수가 없다. 법보다는 윤리로 선제 대응해야 한다. AI는 스스로 학습할 수 있지만 윤리적 판단은 못 한다. AI에 양심이라는 코드를 넣어 준 적이 없기 때문이다. 결국 양심을 가진 사람이 AI를 잘 만들어 올바로 이용하고, 그에 따르는 책임을 져야 한다. AI 윤리가 중요한 이유다.” -AI 윤리의 핵심 원칙은. “투명성, 통제성, 책무성, 공공성 등을 꼽을 수 있다. AI의 행동과 판단 배경, 위험 가능성에 관한 정보가 투명하게 제공돼야 하고 모든 상황에서 언제든 인간이 개입해 통제할 수 있어야 한다. 또한 AI 기술이 사회와 개인에 부정적인 영향을 끼칠 경우 책임을 묻는 책무성도 기본이다. ” -AI 기술을 잘 활용하려면 어떻게 해야 하나. “비판적 시각을 갖는 게 중요하다. 이 세상에 완전한 기술은 없다. 첨단 기술이 나오면 ‘유용하기만 할까’, ‘조심해야 할 건 뭘까’ 등 질문을 해야 한다. 자신의 관점에서 기술을 소화하는 능력도 필요하다. AI 기술이 얼마나 위험한지 아무도 모른다. 누군가 문제를 발견하면 공론화하는 과정이 필요하다. 그래야 시행착오를 줄일 수 있다. AI 기술은 피할 수 없다. 그렇다면 악용이나 오남용하지 않고 목적에 맞게 잘 활용하는 방안을 지속적으로 고민해야 한다.” ● 김명주 센터장은 서울대 컴퓨터공학과 석·박사. 한국인터넷윤리학회 회장 역임. 2018년 국내 최초로 ‘인공지능 윤리 가이드라인 서울 팩트(Seoul PACT)’를 만든 공로로 근정포장 훈장 수상. 2019년 바른AI연구센터 설립. 현 인공지능윤리정책포럼 위원장, OECD 글로벌AI협의체 전문가. 저서 ‘AI는 양심이 없다’(2022).

보름여 만에 저작물 129건 적발“위법 판단땐 징역·벌금 법적조치” #1. 유튜브 채널에서 총선 입후보 예정자 A씨가 자신을 소위 ‘셀프 디스’하는 모습이 담긴 영상이 적발됐다. 분명 A씨인데, 그는 그런 말을 한 적이 없다고 했다. 검증 결과 A씨의 목소리를 영상에 입힌 ‘딥보이스’ 저작물이었다. 영상에 자막까지 삽입해 시청자들은 실제 방송뉴스와 분간하기 어려웠다. #2. 한복을 입은 총선 예비후보자 B씨가 새해를 맞아 “새해 복 많이 받으세요. 국회를 바꾸겠습니다. ○○○을 국회로 보내 주세요”라고 세배하는 영상도 문제가 됐다. ‘페이스스와프’ 기술로 기존 영상에 B씨 얼굴만 입힌 가짜였다. 음성도 B씨 목소리를 학습한 생성형 인공지능(AI)의 ‘딥보이스’였다. 중앙선거관리위원회 ‘허위사실비방 AI 딥페이크(생성형 AI가 만든 가짜 이미지나 영상물) 특별대응 모니터링반’(특별대응반)이 4·10 총선을 50일 앞두고 19일 서울신문에 공개한 딥페이크 적발 사례다. 이곳에서 걸러낸 정치·선거 관련 딥페이크 저작물(1월 29일~2월 15일)만 129건으로 하루 평균 7건꼴이다. 우리나라도 딥페이크의 선거 개입 위협에서 더이상 무풍지대가 아닌 셈이다. 지난 16일 찾은 경기 과천시 중앙선관위의 특별대응반 사무실 입구에는 검은 연기 기둥을 내뿜는 ‘딥페이크 펜타곤’(미국 워싱턴DC 인근 국방부 청사)과 실제 펜타곤 사진을 나란히 표출한 대형 모니터가 있었다. 지난해 5월 트위터 유료 계정에서 급속히 유포돼 미국 주식시장을 출렁이게 했던 가짜 이미지다. 눈여겨보면 가짜인 게 확연하지만, 일부 주식시장 참여자들이 진위 판단보다 주식을 먼저 팔아치우면서 ‘딥페이크의 무서움’을 보여 준 대표 사례가 됐다. 손욱 주무관은 “딥페이크 기술은 하루가 다르게 정교해지고 완벽해진다. 총선이 임박해 딥페이크 기반의 가짜 영상, 음성, 사진이 기승을 부릴 가능성을 배제할 수 없다”고 말했다. 이어 “지난해 8월부터 미국, 튀르키예, 인도네시아, 대만 등 해외 선거에서 딥페이크 작업물이 발견되면서 이들의 제작 형태와 유포 경로 등을 닥치는 대로 학습했다. (총선 관련) 딥페이크 저작물의 유포 경로를 빠르게 파악하고 선거에 영향을 미치지 못하게 신속 차단하는 게 임무”라고 했다. 선관위 “딥페이크 전면 금지”특별대응반 꾸려 집중 감시 우리나라는 지난해 12월 ‘선거 90일 전부터 딥페이크를 활용한 선거 운동을 전면 금지’하는 내용으로 공직선거법을 개정했다. 이에 선관위도 지난해 8월부터 AI 전문 감별반 개설 준비에 착수했다. 지난달 11일엔 400여명 규모의 ‘허위사실 사이버범죄 특별대응팀’ 산하에 특별대응반(59명)을 구성했다. 사무실에서는 데이터분석 전문가 등 AI 전담 요원 5명을 포함해 17명이 모니터링에 한창이었다. 유튜브, 트위터, 페이스북 등에 선거와 관련된 특정 단어, 정치 논쟁 이슈를 입력해 선거법 위반 소지가 있는 영상, 음성, 사진을 선별한다. 요원 1명이 하루에 약 300건을 검토한다고 했다. 지금까지 적발한 129건의 딥페이크 저작물은 대부분 개인이 제작한 것으로, 지지 후보의 이미지를 활용해 반대 진영 후보를 언급하는 수준이었고, 이에 선거 운동의 목적이 있는 게시물에만 단순 삭제 조처를 했다고 한다. 하지만 선관위는 악의적이거나 조직적으로 제작됐다고 판단되면 향후 고발 조치에 나설 수 있다고 했다. 공직선거법을 어기면 7년 이하의 징역 또는 1000만원 이상 5000만원 이하의 벌금형에 처한다. 우리나라에서는 지난 지방선거 때 소위 ‘AI 윤석열’을 이용해 특정 남해군수 후보를 지지하는 영상이 유포된 게 대표적인 딥페이크 악용 사례로 꼽힌다. 특히 선관위는 개인용 딥페이크 저작물이라도 유권자의 일상을 교묘히 파고드는 식이면 심각한 문제가 될 수 있다고 했다. 선관위 관계자는 “딥페이크 작업물 대부분은 아직 영상이나 사진이 어색하고 내용을 조금만 보면 (가짜임을) 알 수 있다”면서도 “하지만 올해 적발된 영상들은 소름 끼치도록 정교하게 진화했다”고 했다. 이에 딥페이크의 발전 속도가 지나치게 빨라 감별 프로그램이 따라가지 못할 수 있다고 우려했다. 현재 딥페이크 적발 프로그램은 기존에 학습되지 않은 딥페이크 작업물의 경우 감별하기 어렵고 악의적인 딥페이크 저작물을 찾아내도 해외 인터넷주소(IP) 등으로 유포되면 제작자를 찾아내 처벌하기 쉽지 않다. 특히 저작물이 워낙 빠르게 확산되고 소비되다 보니 가짜뉴스의 확산 자체를 막는 게 더욱 힘들다. 선관위는 ‘신속한 확산 저지’를 목표로 3단계 접근법을 구축했다. 1단계는 자체 제작한 ‘AI 지능형 사이버 선거범죄 대응 시스템’으로 위법성이 의심되는 정치 관련 게시물을 자동 수집해 검토한다. 이후 범용 프로그램으로 실제 딥페이크 저작물인지 확인하고, 가짜일 확률이 높을 경우 삭제 요청을 한다. 아주 정교한 딥페이크 저작물은 생성형 AI 전문가인 전문 위원 3명에게 자문하는데, 지금까지 이런 사례는 없었다.美·英 등 해외 선거판 흔들어탐지 속도보다 확산 더 빨라 외국은 딥페이크를 활용한 선거 왜곡 시도가 더욱 심각하다. 지난달 미국 뉴햄프셔 유권자들에게 걸려 온 28초가량의 전화에서 조 바이든 미국 대통령의 목소리를 흉내 낸 ‘로보콜’(녹음된 음성이 재생되는 자동전화)은 실제와 똑같았다. 가짜 바이든은 “여러분의 투표는 이번 화요일이 아니라 11월에 변화를 만들 수 있다”며 민주당 경선에 참여할 필요가 없다고 해 유권자들에게 혼란을 주었다. 튀르키예의 지난 5월 대선도 딥페이크 저작물이 흔들었다. 레제프 타이이프 에르도안 튀르키예 대통령은 터키 분리주의 단체인 쿠르디스탄노동자당(PKK)이 상대 후보인 케말 클루츠다로을루를 지지하는 노래를 부르는 영상을 뿌려 지지자의 반감을 자극했다. AI로 조작한 영상이었지만, 에르도안 대통령은 이겼다. 지난해 9월 슬로바키아에서도 선거를 며칠 앞두고 친미 성향의 야당 대표가 맥주가격 인상과 선거 조작 계획을 논의한 것처럼 꾸민 딥페이크 음성이 확산됐다. 이 음성 역시 가짜로 판명됐지만 야당 패배의 주요 원인 중 하나로 지목됐다. 영국에서는 소셜미디어(SNS) 틱톡에서 사디크 칸 런던 시장이 정전협정일 행사의 중요성을 부인하는 가짜 음성이 유포돼 논란이 일었다. 해당 음성은 문법적 오류가 많았지만 칸 시장의 억양을 정확히 재현해 얼핏 듣기에 진위를 가리기 어려웠다고 한다. ■딥페이크(Deepfake)란 인공지능 기술인 딥러닝(Deep learning)과 ‘가짜’를 의미하는 단어인 페이크(Fake)의 합성어다. 딥러닝을 이용해 원본 이미지나 동영상 위에 원본과는 관련 없는 이미지를 결합해 진위를 구별하기 어렵게 만든 가짜 이미지나 영상물을 뜻한다. 딥페이크라는 단어가 등장한 것은 2017년 말로 미국 온라인 커뮤니티 레딧의 한 회원이 기존 영상에 유명인의 얼굴을 입혀 가짜 포르노 영상을 게재한 데서 유래됐다. 이후 온라인 커뮤니티와 소셜미디어(SNS)를 중심으로 급속히 확산한 딥페이크 콘텐츠는 최근 딥페이스랩(DeepFaceLab), 페이스스와프(Faceswap) 같은 오픈 소스 형태의 영상 합성 제작 프로그램이 배포되면서 더욱 성행하고 있다.