“인공지능(AI) 활용 학습 지원은 물론 인성교육도 함께 이뤄질 수 있도록 하겠습니다.”(전성수 서울 서초구청장) 서초구는 25일 ‘2024 AI 기반 공교육 비전 선포식 및 포럼’을 열고, AI를 활용한 맞춤형 교육과 AI 윤리·인성교육 프로그램을 추진한다고 밝혔다. 이날 발표자로 나선 전 구청장은 “미래 아이들에게 필요한 교육이 무엇인지를 현장 교사들과 함께 고민해 프로그램을 만들었다”면서 “AI 학습진단을 통해 개인별 맞춤형 교육과 디지털 대전환기에 가져야 할 AI 윤리, 인성교육 등을 함께 지원할 것”이라고 설명했다. 행사에선 서울대 융합과학기술대학원 권가진 교수의 ‘AI 시대의 교육’을 주제로 한 기조강연을 시작으로 ▲‘해외 AI 교육 트렌드’(건국대 임걸 교수) ▲‘서초구 AI 공교육 현장 및 발전방향’(계성초 조기성 교사) 등의 발표가 이어졌다. 구는 지난해부터 ‘서초형 스마트 교육사업’을 시범 추진해 초중고 12곳을 선정하고 학습 코스웨어 및 개인 디바이스, 전자칠판 등을 지원했다. 수학과목 AI 맞춤형 수업을 진행한 A고등학교는 학업성취도, 수업만족도, 지속지원 희망 여부에서 모두 100% 만족이란 결과를 얻었다. AI 윤리와 인성교육도 진행한다. 취학 전 아동부터 초중고생, 학부모에게 딥페이크(AI를 활용한 얼굴·목소리 합성 기술), 가짜뉴스 등 디지털 부작용 대처법을 제시한다.

K이슈플랫폼은 사단법인 싱크탱크인 K정책플랫폼(이사장 전광우, 공동원장 정태용·박진)이 개최하는 월례 토론회이다. 다툼만 있고 해결이 없는 우리 사회에 합의를 통한 정책 방향을 제시한다는 목표로 기획됐다.의제: 인공지능(AI)에 대한 규제 수준규제론: 최은창 아밀라(Armilla) AI, AI 정책총괄자율론: 김윤희 법무법인 세종 파트너 변호사사회: 이경전 K정책플랫폼 이머징이슈위원장 (경희대 교수)원고: 박진 K정책플랫폼 공동원장 (KDI대학원 교수)기원전(BC)이 ‘Before 챗GPT’라 할 정도로 AI는 인류 문명에 엄청난 변화를 줄 것으로 기대를 모으고 있다. 그러나 이미 2014년에 영국의 물리학자 고 스티븐 호킹 박사는 “AI 발전이 인류의 생존에 중대한 위협이 될 수 있다”는 경고를 한 바 있다. 지난달 유엔총회는 안전한 AI 개발을 촉구하는 결의문을 채택했고 다음달에는 한국에서 AI 안전성 정상회의가 개최되는 등 AI 규제에 대한 국제적 논의가 활발해지고 있다. 정부도 AI 기본법안을 발의하는 등 나름의 대응을 보이고 있다. 그러나 글로벌 IT 공룡기업들 속에서 생존 여부조차 의문시되는 한국 AI 업계를 과도하게 규제해선 안 된다는 목소리도 있다. AI는 어느 정도로 규제돼야 하는가?1. 데이터 저작권 정책 저작권자의 거부권을 인정하면서 저작권 위반에 대한 처벌을 완화해야 한다. [사회] 지난해 12월 오픈AI사와 마이크로소프트(MS)는 미국의 뉴욕타임스(NYT)로부터 저작권 침해 소송을 당했습니다. 수백만개의 기사를 허락 없이 AI 모델 학습에 사용해 NYT에 손해를 끼쳤다는 내용입니다. 또한 스톡 포토 전문회사 게티이미지는 스태빌리티AI사에 마찬가지로 소송을 걸었죠. 웹 크롤링(web crawling)을 통한 텍스트·데이터 마이닝(TDM) 학습을 어디까지 허용해야 할까요.[자율] 소설가 지망생이 만 권의 책을 읽고 새로운 소설을 창작하는 것이 문제가 되지 않는 것처럼 AI도 공개된 데이터를 학습하는 것은 자유로워야 합니다. [규제] 저작물은 저작권자와 라이선스를 맺고 학습 데이터로 활용해야 합니다. 언론 등이 생산한 콘텐츠를 머신러닝에 무제한 허용하면 창작 동기가 약화될 것입니다. 챗GPT가 뉴욕타임스 유료 구독자만 읽을 수 있는 기사들을 학습해 99% 동일한 콘텐츠를 답변으로 내놓는다면 이는 공정이용(fair use)은 아니라고 봅니다. 저작권자에게는 자신의 저작물이 AI에 학습되지 않도록 거부할 수 있는 옵트아웃(opt out)이 보장돼야 하죠. [자율] AI 선진국에 한참 뒤처진 우리 기업이 데이터 학습 시 일일이 저작권자에게 허락을 받아야 한다면 이는 AI 혁신을 늦출 수 있습니다. 현실적이지도 않고요. 보수적인 일본도 이미 2018년에 저작권법을 개정해 “저작권자의 이익을 부당하게 침해하는 경우를 제외하면… 어떠한 방법으로든 이용할 수 있다”고 규제를 완화했습니다. AI로 새로운 저작물을 창작한다면 저작권을 부당하게 침해하는 것은 아니지요. [규제] TDM도 일부 허용할 필요가 있지만 기계적 정보 해석 목적에 한정해야 합니다. 저작권자의 옵트아웃 권리는 대립적 이해관계의 균형을 맞추는 방안이라고 봅니다. [사회] 저작권자의 거부권을 인정하면서 대신 저작권 위반에 대한 처벌을 완화하는 방안은 어떨까요? [자율] 하긴 사소한 저작권 위반은 발견하기도 어렵고 대형 사안이 문제이니 처벌 완화가 중요하지요. 분쟁 시 형사처벌을 제외하고 민사소송으로 해결하도록 하되 저작권자의 사용금지 청구를 못 하게 한다면 동의할 수 있습니다. [규제] 그 정도가 현실적일 것 같습니다. [사회] 공개된 데이터에 대해서는 합의가 이루어졌습니다. 비공개 데이터에 대해서는 저작권 주체의 데이터를 보관하는 데이터 뱅크를 설립하고 이 뱅크들이 저작권자를 대신해 AI사와 계약을 맺는 방식은 어떨까요? [규제/자율] 위탁에 대한 자율성이 보장되는 한 데이터를 보호하는 동시에 활용을 높이는 좋은 방안이네요. 2. AI 오남용 규제 AI 개발사의 기술적 표시 의무에 대한 사회적 합의 형성과 AI 사용 범죄 가중처벌이 필요하다. [사회] 딥페이크나 음성 복제를 통한 신원 도용과 사기 피해가 발생하고 있습니다. 이를 어떻게 규제해야 할까요. [규제] AI로 최고재무책임자(CFO) 얼굴을 복제한 후 화상 회의에서 송금 지시를 내려 사취한 사례가 홍콩에서 발생했죠. 이런 비대면 사기의 추적을 위한 규제가 필요합니다. AI로 생성한 이미지나 목소리 속에 암호화된 워터마크를 넣도록 의무화해 AI 사용 여부를 기록에 남겨야 합니다. [자율] 조영남씨의 그림 대작(代作) 소송에서 무죄 판결이 난 것을 기억하시죠? 대법원은 조영남씨에게 대작 화가의 존재를 고지할 의무는 없다고 판시했습니다. 앞으로 AI를 이용한 창작이 보편화될 텐데 그러한 명시 의무는 AI를 통한 창작활동을 위축시킬 수 있습니다. [규제] 워터마크 등 기술적 조치를 이용자가 아니라 AI 개발사에 의무화할 수 있지 않을까요? [자율] 의무화에 대한 사회적 합의를 형성한다는 정도면 동의할 수 있습니다. 사실 문제는 사기나 선거 여론조작 등 나쁜 의도를 가진 AI 사용자이지요. AI 활용 범죄에 대해서는 가중처벌할 것을 제안합니다. [규제] 동의합니다.3. 알고리즘 규제 AI 전문성을 보유한 비영리단체의 감시 노력을 정부가 지원하자. [사회] 최근 유럽연합(EU)에서 인공지능 법률(EU AI Act)이 통과돼 앞으로 글로벌 인공지능 규범이 될 것으로 예상됩니다. 또한 미국에서는 알고리즘 책임법(Algorithmic Accountability Act)을 의회가 논의 중이지요. 이 법은 AI 알고리즘이 편향적 결과를 내지 않도록 기업들이 자체 감사와 보고를 하도록 요구합니다. AI 알고리즘은 어떻게 규제해야 할까요? [자율] 알고리즘의 의무적 공개는 민감한 영업비밀 등 기업의 지식재산권을 침해하는 결과를 가져옵니다. 사전 검열이 될 수도 있습니다. [규제] 경쟁이 존재하는 시장에서는 알고리즘의 편견과 차별이 스스로 교정될 수 있습니다. 그러나 경쟁이 없고 소비자와 사업자 간 엄청난 정보의 비대칭성이 있는 경우가 문제지요. 미국은 우리의 공정거래위원회에 해당하는 연방거래위원회(FTC)에서 가이드라인을 주고 있습니다. 중국에선 모든 AI 개발사들이 중앙정부에 알고리즘을 제출해야 하고 보안성 평가까지 통과해야 합니다. 중국 같은 과한 개입은 곤란하지만 그래도 알고리즘의 투명성을 위한 최소한의 조치는 필요합니다. [사회] 누군가의 감시가 필요하지만 정부의 직접 개입은 안 된다는 말씀이네요. 그렇다면 AI 전문성을 보유한 비영리단체의 감시 노력을 정부가 지원하는 정도는 어떨까요? [규제/자율] 동의합니다. [사회] 끝으로 정부의 AI정책에 대한 건의를 해 주신다면. [규제] AI 관련 위험성 감축 노력이 AI 혁신 저해로 받아들여져서는 곤란합니다. 그러나 현재 정부가 구상하는 AI 관련 법률은 모호한 윤리원칙으로 가득 차 있습니다. 이렇게 되면 법안이 의미가 없거나 아니면 너무 광범위한 규제를 할 수 있습니다. 규제는 명확해야 합니다. [자율] AI에 대한 규제는 공직선거법, 성폭력처벌법 등 개별법에서 규정하는 것이 좋다고 봅니다. 이와 관련된 사회적 합의 형성이 필요합니다. [사회] 정부는 4월 초 다양한 이해당사자들이 참여하는 AI전략 최고위협의회를 구성했습니다. 이를 통해 구체적인 규제를 최소한으로 담는 법안을 만들기 바랍니다. 오늘의 논의가 그 기본틀이 됐으면 합니다.

울산의 한 중학교 남학생들이 여교사와 여학생의 얼굴을 나체 사진에 합성해 만든 조작물을 돌려보가 적발됐다. 울산경찰청은 A군 등 울산의 모 중학교 남학생 2명을 조사하고 있다고 16일 밝혔다. A군 등은 최근 같은 학교 여교사와 여중생 등 10여명의 얼굴로 나체합성 사진을 만들어 교실에서 보거나 메신저 등을 통해 주고받은 혐의를 받고 있다. 이런 사실을 해당 학교 측이 알게 되면서 경찰에 신고해 최근 수사가 시작됐다. 경찰은 피해 학생 등으로부터 사건 경위 등을 확인하고 있고, 휴대전화 등도 분석 중이다. 경찰 관계자는 “학생들이 조작물을 만든 경위와 딥페이크(영상·이미지 합성 조작물) 여부, 외부로 합성 사진을 유출했는지 등을 조사하고 있다”며 “촉법소년에 해당하지 등을 가려 처분할 계획”이라고 말했다.

윤석열 대통령 모습이 등장하는 허위 조작 영상을 제작한 50대가 경찰에 붙잡혔다. 조지호 서울경찰청장은 8일 기자간담회에서 “윤 대통령 허위 조작 영상과 관련해 정보통신망법상 명예훼손 혐의로 지방에 거주하는 50대 남성을 입건했다”고 밝혔다. A씨는 지난해 11월 틱톡 등 소셜미디어(SNS)에 ‘가상으로 꾸며본 윤 대통령 양심고백 연설’이라는 제목의 46초 분량 영상을 제작해 올린 혐의를 받는다. 영상에는 윤 대통령이 등장해 “무능하고 부패한 윤석열 정부는 특권과 반칙, 부정과 부패를 일삼았다”면서 “저 윤석열은 상식에서 벗어난 이념에 매달려 대한민국을 망치고 국민을 고통에 빠뜨렸다”고 말한다. A씨는 경찰 조사에서 영상 제작 사실을 시인했다. 조 청장은 A씨에게 당적이 있느냐는 질문에 “당을 위해 일하고 있다”면서도 “어느 정당인지는 밝힐 수 없다”고 설명했다. 아울러 경찰은 해당 영상을 유포한 9명을 특정해 A씨와 같은 혐의를 적용해 조사 중이다. 다만 A씨와 영상을 유포한 9명이 집단으로 범행을 공모한 정황은 없는 것으로 보고 있다. 지난 2월 국민의힘은 영상 게시자를 정보통신망법상 명예훼손 혐의로 고발했고, 서울경찰청 사이버수사대는 수사에 착수했다. 해당 영상은 당초 딥페이크(AI로 만든 영상·이미지 합성 조작물)라는 추측이 제기됐으나, 2022년 2월 윤 대통령이 대선후보였던 시절 진행한 TV 연설 장면을 짜깁기한 것이라는 분석이 나왔다.

실제 사람의 얼굴과 음란물을 합성해 만든 딥페이크 관련 성범죄가 증가하고 있는 가운데 미성년자의의 사진을 음란물로 조작해 유포한 사건이 발생했다. 지난 3일 JTBC ‘사건반장’에는 중학교 3학년 딸의 얼굴 사진과 다른 사람의 나체 사진을 합성한 음란물이 소셜미디어(SNS)에서 공유됐다고 제보한 아버지 A씨의 사연이 공개됐다. A씨에 따르면 지난해 9월 수업을 마치고 집에 돌아온 딸이 자신의 휴대전화에 저장한 사진을 보여줬는데 그 사진에는 딸의 얼굴과 다른 사람의 나체 사진이 합성된 모습이 담겨 있었다. 딸은 이 같은 음란 사진이 한 SNS 단체 대화방에서 공유되고 있다는 사실을 지인으로부터 듣고 알게 됐다고 전했다. A씨에 따르면 이러한 합성 사진만 40여장에 달했고 조작된 음란 영상도 있었다. A씨는 “지금껏 확인된 피해자만 5~6명 정도 된다. 추가로 더 있을 수도 있다”고 주장했다. 또 제보자는 딸뿐만 아니라 딸의 친구들을 이용한 합성 사진과 영상도 공유됐다고 전했다. A씨는 곧 고소했고 지난달 범인이 검찰로 송치됐다는 연락을 경찰로부터 받았다. 경찰은 피의자가 미성년자라 신원을 밝힐 수는 없고 딸과 같은 학교에 다니는 학생이라고만 알려줬다고 제보자는 전했다. 한편 성폭력범죄의 처벌 등에 관한 특례법에 따르면 사람의 얼굴·신체·음성을 대상으로 한 촬영·영상물 등을 성적 욕망 또는 수치심을 유발할 수 있는 형태로 편집·합성·가공할 경우 5년 이하의 징역이나 5000만원 이하의 벌금에 처한다.

방송 출연 검사 목소리 등 추출보이스피싱 조직이 범죄 시도 檢, 탐지기술 등 연구·개발 나서 “누가 들어도 ○○지검에서 근무하는 ○○○ 검사 목소리입니다. 실제 검사 목소리와 똑같으니 다들 깜박 속았을 겁니다.” 중국 항저우에 근거지를 두고 보이스피싱 범죄를 저질렀던 ‘김군일파’의 한 조직원은 지난해 6월 경찰에 붙잡히자 자신들이 만든 딥보이스(목소리 합성)와 딥페이크(이미지 합성) 범죄 시도를 자백했다. 둘다 인공지능(AI)을 활용해 특정인을 흉내내는 기술이다. 범죄 일당은 이 기술로 방송에 출연한 유명 검사 얼굴과 목소리를 추출한 뒤 조직원의 음성과 합성해 마치 검사가 신상정보를 요구하는 것처럼 감쪽같이 바꿨다. 만일 경찰의 단속이 조금만 늦었다면 실제 검사를 모티브로 한 신종 인공지능(AI) 사기로 보이스피싱 피해자가 무더기로 발생할 뻔했던 사건이었다. 지난해 제주도에선 음성변조 애플리케이션(앱)을 통해 1인 3역을 하며 피해자를 속인 뒤 돈을 뜯은 범인이 법원으로부터 징역형을 선고받기도 했다. 범인은 온라인 게임에서 만난 피해자에게 일본인 가수 행세를 하며 접근했다. 피해자와 직접 연락하게 되자 “동료로부터 집단 성폭행을 당했다”며 동정심을 유발하고 돈을 요구했다. 범인이 음성변조를 통해 또 다른 가수와 소속사 팀장인 것처럼 행세하며 신원보증을 선 탓에 피해자는 의심 없이 속았고, 57차례에 걸쳐 1600여만원을 송금했다. 이처럼 얼굴·음성을 복제·변조해 악용하는 신종 범죄가 국내에서도 현실화되고 있다. 지난해 중국에서 한 정보기술(IT) 업체 대표가 친구의 목소리와 얼굴을 흉내 낸 딥보이스 영상통화에 속아 430만 위안(약 8억원)을 송금한 사건이 벌어졌는데, 우리나라에서도 비슷한 일이 벌어지고 있는 것이다. 딥페이크·딥보이스 범죄는 이미 외국에선 심각한 사회문제화했다. 2021년 아랍에미리트(UAE)의 한 은행은 평소 거래하던 대기업 임원 목소리의 전화를 받고 3500만 달러(약 420억원)를 보냈는데, 딥보이스 범죄였다는 사실이 뒤늦게 밝혀졌다. 이런 신종 범죄는 유력 인사 사칭으로 정치적 혼란을 야기하기도 한다. 지난 1월 미국 대선 경선 과정에서 조 바이든 대통령을 사칭한 가짜 목소리로 “예비선거에 투표하지 말라”는 허위 전화가 돌아 파장이 일었다. 국내서도 윤석열 대통령이 “저 윤석열은 대한민국을 망치고 국민을 고통에 빠뜨렸습니다”라고 말하는 허위 영상이 소셜미디어(SNS)에서 확산돼 경찰이 수사 중이다. 이에 검찰이 새로운 유형의 범죄에 대응하기 위한 ‘딥보이스 탐지기술’ 개발에 나선 것으로 1일 서울신문 취재 결과 확인됐다. 가짜 영상과 음성을 식별해 달라는 취지의 감정 의뢰가 들어오면 신속하게 수사할 수 있도록 선제적으로 기술 개발에 나선 것이다. 대검찰청 과학수사부(부장 박현준)는 2027년까지 4년에 걸쳐 86억원을 투입해 딥보이스 탐지 등을 위한 중장기 연구인 ‘첨단기술 융합형 차세대 검찰 포렌식 기술개발 연구개발(R&D) 사업’을 진행한다. 올해 우선적으로 1억 5000만원을 배정하고 이번 주중 ‘딥보이스 탐지기술 개발 사업’ 연구용역을 발주한다. 검찰은 네이버와 KT 등으로부터 딥보이스 데이터베이스를 수집하고, 업체별로 딥보이스 기술과 특징을 분석하는 연구를 수행한다는 계획이다. 박진성 대검 법과학분석과장은 “보이스피싱 범죄에서 무고한 사람의 목소리가 범죄에 활용됐을 경우에도 딥보이스 탐지 기술로 밝혀낼 수 있을 것으로 기대한다”고 말했다.

AI 악용 범죄 국내서도 현실화방송 출연 검사 목소리 등 추출보이스피싱 조직이 사기 시도檢, 탐지기술 등 연구·개발나서네이버·KT서 ‘딥보이스’ DB 수집 계획 “누가 들어도 ○○지검에서 근무하는 ○○○ 검사 목소리입니다. 실제 검사 목소리와 똑같으니 다들 깜박 속았을 겁니다.” 중국 항저우에 근거지를 두고 보이스피싱 범죄를 저질렀던 ‘김군일파’의 한 조직원은 지난해 6월 경찰에 붙잡히자 자신들이 만든 딥보이스(목소리 합성)와 딥페이크(이미지 합성) 범죄 시도를 자백했다. 둘다 인공지능(AI)을 활용해 특정인을 흉내내는 기술이다. 범죄 일당은 이 기술로 방송에 출연한 유명 검사 얼굴과 목소리를 추출한 뒤 조직원의 음성과 합성해 마치 검사가 신상정보를 요구하는 것처럼 감쪽같이 바꿨다. 만일 경찰의 단속이 조금만 늦었다면 실제 검사를 모티브로 한 신종 인공지능(AI) 사기로 보이스피싱 피해자가 무더기로 발생할 뻔 했던 사건이었다. 지난해 제주도에선 음성변조 애플리케이션(앱)을 통해 1인 3역을 하며 피해자를 속인 뒤 돈을 뜯은 범인이 법원으로부터 징역형을 선고받기도 했다. 범인은 온라인 게임에서 만난 피해자에게 일본인 가수 행세를 하며 접근했다. 피해자와 직접 연락하게 되자 “동료로부터 집단 성폭행을 당했다”며 동정심을 유발하고 돈을 요구했다. 범인이 음성변조를 통해 또 다른 가수와 소속사 팀장인 것처럼 행세하며 신원보증을 선 탓에 피해자는 의심없이 속았고, 57차례에 걸쳐 1600여만원을 송금했다. 이처럼 인공지능(AI)을 악용한 딥페이크·딥보이스 신종 범죄가 국내에서도 현실화되고 있다. 지난해 중국에서 한 정보기술(IT) 업체 대표가 친구의 목소리와 얼굴을 흉내 낸 딥보이스 영상통화에 속아 430만위안(약 8억원)을 송금한 사건이 벌어졌는데, 우리나라에서도 비슷한 일이 벌어지고 있는 것이다. 딥페이크·딥보이스 범죄는 이미 외국에선 심각한 사회문제로 발돋움했다. 지난 2021년 아랍에미리트(UAE)의 한 은행은 평소 거래하던 대기업 임원으로부터 전화를 받고 3500만 달러(약 420억원)를 보냈는데, 딥보이스 범죄였다는 사실이 뒤늦게 밝혀졌다. 이 임원의 목소리를 잘 알았던 은행 측이 아무런 의심 없이 거액을 이체했다가 전화 한 통에 속아 넘어간 것이다. 이 AI 신종 범죄는 유력 인사를 사칭해 정치적 혼란을 야기하기도 한다. 지난 1월 미국 대선 경선 과정에서 조 바이든 대통령을 사칭한 가짜 목소리로 “예비선거에 투표하지말라”는 허위 전화가 돌아 파장이 일었다. 국내서도 윤석열 대통령이 “저 윤석열은 대한민국을 망치고 국민을 고통에 빠뜨렸습니다”라고 말하는 허위 영상이 소셜미디어(SNS)에서 확산돼 경찰이 수사 중이다. 이에 검찰이 새로운 유형의 범죄에 대응하기 위한 ‘딥보이스 탐지기술’ 개발에 나선 것으로 1일 서울신문 취재 결과 확인됐다. 가짜 영상과 음성을 식별해달라는 취지의 감정 의뢰가 들어오면 신속하게 수사할 수 있도록 선제적으로 기술 개발에 나선 것이다. 대검찰청 과학수사부(부장 박현준)는 오는 4월부터 2027년까지 4년에 걸쳐 86억원을 투입해 딥보이스 탐지 등을 위한 중장기 연구인 ‘첨단기술 융합형 차세대 검찰 포렌식 기술개발 R&D 사업’을 진행한다. 올해 우선적으로 1억5000만원을 배정하고 이번 주 중 ‘딥보이스 탐지기술 개발 사업’ 연구용역을 발주할 예정이다. 검찰은 네이버와 KT 등으로부터 딥보이스 데이터베이스를 수집하고, 업체별로 딥보이스 기술과 특징을 분석하는 연구를 수행한다는 계획이다. 박진성 대검 법과학분석과장은 “보이스피싱 범죄에서 무고한 사람의 목소리가 범죄에 활용됐을 경우에도 딥보이스 탐지 기술로 밝혀낼 수 있을 것으로 기대하고 있다”고 말했다.

생성형 인공지능(AI) ‘챗GPT’ 개발사인 오픈AI가 사람 음성을 학습해 모방 음성을 생성하는 AI 도구 ‘보이스 엔진’을 개발해 공개했다. 최근 미국 테네시주가 AI가 사람 음성을 베끼는 것을 금지하는 일명 ‘엘비스(Elvis) 법안’에 미국 최초로 서명한 것과 맞물려 AI 음성이 이미지 생성과 마찬가지로 딥페이크(AI 가짜 영상·음성 조작물) 유포, 개인 정보 해킹 등에 악용될 우려가 제기되고 있다. 오픈AI가 지난 29일(현지시간) 공개한 보이스 엔진 사전실험 결과를 보면 실제 사람 음성 샘플과 이를 이용해 보이스 엔진으로 생성한 음성은 구분이 거의 힘들 만큼 비슷했다. 회사 측은 15초 분량의 음성 샘플만 있으면 이런 AI 음성을 만들어 낼 수 있다고 밝혔다. 언어 질환 환자용 치료 애플리케이션, 장애인 소통 기기에 지원된 이 도구는 동영상의 다국어 번역, 교육 음성 해설, 실시간 맞춤형 응답 등 광범위하게 상용될 수도 있다. 다만 오픈AI는 “현재로선 이 기술을 ‘미리 보여주기’(preview)만 하되 일반에 출시하진 않기로 했다”며 “인조 음성의 오용 가능성 때문에 조심스럽게 접근하고 있다”고 선을 그었다. 이어 “사람 목소리를 닮은 음성을 생성하는 것은 심각한 위험을 야기하며, 선거가 있는 해엔 특히 더 그렇다”면서 “우리는 미국과 해외 정부, 미디어, 시민사회 등과 협력해 피드백을 반영하기 위해 노력하고 있다”고 강조했다. 지난달 회사가 글을 동영상으로 바꿔 주는 AI ‘소라’를 개발했을 때와 동일한 우려가 불거지는 것을 사전에 차단하기 위한 포석이다. 실제로 올해 미 대선을 앞두고 지난 1월엔 뉴햄프셔주 프라이머리(예비선거) 전날 조 바이든 대통령을 사칭한 가짜 전화로 투표 거부를 독려하는 사례가 나오면서 음성 조작 우려가 현실화됐다. 뉴욕타임스(NYT)는 “이미지나 비디오 생성과 마찬가지로 음성 생성도 소셜미디어에 허위 정보를 퍼뜨리는데 도움이 될 수 있고 범죄자가 온라인이나 전화 통화에서 다른 이를 사칭할 수도 있다”고 지적했다. 이와 관련해 빌 리 테네시 주지사는 지난 21일 AI를 사용해 사람 목소리를 베끼는 것을 금지하는 엘비스 법에 미국 최초로 서명했다. 정식 명칭이 ‘초상·음성·이미지 보안 보장법’이지만 로큰롤의 제왕으로 군림한 엘비스 프레슬리의 이름으로 별칭이 붙은 건 사전 허가 없이 예술가 저작을 사용하는 것을 보호하기 위한 법안이기 때문이다. 테네시주는 로큰롤 탄생지인 멤피스, 컨트리 뮤직 본산인 내슈빌이 위치한 대중음악 산업의 메카로, 4500개 이상의 공연장, 6만 1000개 이상의 일자리로 한 해 수십억 달러를 창출하고 있다. 엘비스 법은 지역 핵심 산업이 AI로 타격받는 것을 막은 선제 조치인 셈이다. 리 주지사는 “AI가 나쁜 행위자들의 손에 넘어가면 대중음악 산업이 파괴될 수 있다”고 경고했다. AI업계 혁신을 주도하고 있는 오픈AI는 마이크로소프트(MS)와 1000억 달러(약 132조 6000억원)를 투자해 AI 슈퍼컴퓨터를 포함한 데이터센터 구축도 추진하고 있다. 오픈AI와 MS의 ‘스타게이트’는 6년짜리 프로젝트로, AI 모델 구동을 위한 슈퍼컴퓨터와 이를 위한 초대형 데이터센터를 조성하는 사업이다. 현존 최고 수준 데이터센터와 비교해 100배 이상 큰 규모라고 정보기술(IT) 전문매체 디인포메이션이 보도했다. 데이터센터에는 슈퍼컴퓨터 구동을 위해 특별 제작된 서버 칩 수백만 개가 들어간다. 생성형 AI 연산을 위해서는 그래픽처리장치(GPU) 같은 AI 반도체를 연결하고 대규모 데이터 처리 작업을 수행할 컴퓨팅 시스템이 필요하다. 데이터센터에는 여러 공급업체의 다른 칩을 사용할 것으로 알려졌다. 이는 샘 올트먼 오픈AI 최고경영자(CEO)가 AI 반도체 시장을 90% 이상 점유한 엔비디아에 대응해 ‘AI 반도체 동맹’을 구축하려는 행보와도 연결된다. 올트먼 CEO는 지난 1월 직접 한국을 찾아 삼성전자, SK하이닉스와 협력 방안을 논의했다. 이때 이재용 삼성전자 회장, 최태원 SK그룹 회장도 만난 것으로 알려졌다.

금융당국이 불법채권추심으로부터 서민과 취약계층을 보호하기 위해 당사자뿐 아니라 가족과 지인까지도 무료 법률 서비스를 제공하는 방안을 검토한다. 금융위원회는 29일 ‘서민·취약계층 금융지원 현황 점검회의’를 열고 민생침해 범죄 예방을 위해 이같은 내용을 밝혔다.금융위는 올해 채무자대리 지원사업에 예산 12억 5500만원을 확보하고 불법 추심 피해가 우려되는 대상자를 적극적으로 발굴해 지원하기로 했다. 특히 채무자 본인뿐 아니라 가족, 지인 등 채무자의 주변인에 대해서도 불법채권추심과 관련해 무료 법률서비스를 제공할 수 있는 방안을 검토한다. 앞서 금융위가 진행한 불법추심에 관한 설문조사에서 가족이나 친구, 동료 등에게 채무 사실을 알리고 대신 돈을 갚으라고 요구하는 ‘지인추심’이 불법추심 유형의 60%를 차지하는 것으로 나타났다. 금융위는 또 반사회적 불법대부계약 무효화 소송도 활성화해 나가기로 했다. 금융감독원은 지난달 반사회적 불법채권추심이 수반된 피해 사례에 대해 불법대부계약 무효화·피해보상 등을 위한 무료 소송 지원에 착수했다. 최근 딥페이크 기술을 활용해 유명인을 사칭한 불법금융 투자사기, 불법사금융 등 민생침해 범죄에 대해서도 관계기관이 합동으로 강력히 대응하겠다고 밝혔다. 김소영 금융위 부위원장은 “서민·취약계층 대상 정책서민금융 공급을 지속 확대하고 금융회사 및 우수대부업자도 중·저신용자 등을 대상으로 적극적으로 자금을 공급할 수 있도록 유도해 나가겠다”고 말했다.

정부가 4·10 총선을 앞둔 시점에 유포되는 가짜 뉴스와 허위 선동을 중대 범죄로 규정해 배후까지 밝혀 낸 뒤 엄중하게 책임을 묻겠다고 28일 밝혔다. 박성재 법무부 장관과 이상민 행정안전부 장관은 공식 선거운동 개시일인 이날 정부서울청사에서 ‘대국민 담화문’을 공동 발표하고 이같이 밝혔다. 정부는 허위사실 공표·흑색선전, 금품 수수, 공무원·단체 등의 불법적 선거 개입, 선거 관련 폭력을 중점 단속 대상으로 규정했다. 선거 과정에서 발생한 일체의 불법행위에 대해 무관용의 원칙으로 철저히 수사한다는 계획이다. 정부는 ‘딥페이크’(인공지능으로 만든 영상·이미지 합성물) 등 새로운 유형의 선거범죄에 대해서도 디지털 증거 분석, 인터넷 주소(IP) 추적 등을 통해 신속히 진상을 규명하고 엄정하게 책임을 물을 것이라고 밝혔다. 정치인에 대한 테러 등 선거 관련 폭력 사건에 대해서는 전담수사팀을 가동하기로 했다. 지난 대선 당시 부실 관리 논란이 있었던 사전투표에 대한 관리도 강화한다. 사전투표 우편물은 선관위에 도착할 때까지 우체국을 거치지 않고 모든 과정을 경찰이 호송하기로 했다. 기계장비 대신 사람이 손으로 직접 투표지를 한번 더 확인하는 ‘수검표’ 절차도 도입한다. 특히 수검표에 참여하는 인원에는 조선족 등 외국인을 전면 배제하기로 했다. 비례대표 투표지는 100% 수개표로 진행할 예정이다. 한편 경찰청에 따르면 지난 26일 기준 이번 총선과 관련해 적발된 선거사범은 총 895명이다. 이 중 허위사실 유포 사범이 436명(48.7%)으로 가장 큰 비중을 차지했다.

정부가 4·10 총선을 앞둔 시점에 유포되는 가짜 뉴스와 허위 선동을 중대 범죄로 규정해 배후까지 밝혀 낸 뒤 엄중하게 책임을 묻겠다고 28일 밝혔다. 박성재 법무부 장관과 이상민 행정안전부 장관은 공식 선거운동 개시일인 이날 정부서울청사에서 ‘대국민 담화문’을 공동 발표하고 이같이 밝혔다. 정부는 허위사실 공표·흑색선전, 금품 수수, 공무원·단체 등의 불법적 선거 개입, 선거 관련 폭력을 중점 단속 대상으로 규정했다. 선거 과정에서 발생한 일체의 불법행위에 대해 무관용의 원칙으로 철저히 수사한다는 계획이다. 정부는 ‘딥페이크’(인공지능으로 만든 영상·이미지 합성물) 등 새로운 유형의 선거범죄에 대해서도 디지털 증거 분석, 인터넷 주소(IP) 추적 등을 통해 신속히 진상을 규명하고 엄정하게 책임을 물을 것이라고 밝혔다. 정치인에 대한 테러 등 선거 관련 폭력 사건에 대해서는 전담수사팀을 가동하기로 했다. 지난 대선 당시 부실 관리 논란이 있었던 사전투표에 대한 관리도 강화한다. 사전투표 우편물은 선관위에 도착할 때까지 모든 이동 구간을 경찰이 호송하기로 했다. 기계장비 대신 사람이 손으로 직접 투표지를 한번 더 확인하는 ‘수검표’ 절차도 도입한다. 특히 수검표에 참여하는 인원에는 중국인(조선족 포함) 등 외국인을 전면 배제하기로 했다. 비례대표 투표지는 100% 수개표로 진행할 예정이다. 한편 경찰청에 따르면 지난 26일 기준 이번 총선과 관련해 적발된 선거사범은 총 895명이다. 이 중 허위사실 유포 사범이 436명(48.7%)으로 가장 큰 비중을 차지했다.

한 총리, 총선 지원 관계장관회의 개최사전투표 모든 이동 구간 경찰이 호송딥페이크 등 가짜뉴스 철저 단속·엄벌 제22대 국회의원 선거(4월 10일) 운동 시작일인 28일 정부는 개표 과정에서 기계 오류나 조작 논란이 일지 않도록 5만명에 달하는 공무원을 투입해 직접 투표지의 오류를 검증하는 ‘수검표’를 도입하고 개표 과정에서 조선족을 비롯한 중국인 등 외국인은 원천 배제하기로 했다. 딥페이크 등 가짜뉴스는 숨은 배후 세력까지 찾아내 엄벌하겠다고 밝혔다. 행안 “투개표 관리 공정성 위해개표 반드시 공무원이 담당” 이상민 행정안전부 장관과 박성재 법무부 장관은 이날 정부세종청사에서 이런 내용이 담긴 ‘제22대 국회의원 선거 공동 대국민 담화문’을 발표했다. 우선 행안부는 선거의 공정성을 높이기 위해 중앙선거관리위원회와 협력해 기계 장비 대신 사람이 손으로 직접 투표지를 한 번 더 확인하는 ‘수검표’ 절차를 도입하기로 했다. 특히 수검표에 참여하는 인원에는 외국인을 전면 배제하기로 했다. 선거사무에는 지방자치단체와 각 기관에서 22만명이 참여할 예정이며 중요한 수검표 작업에는 4만 5000명~5만명에 달하는 공무원이 참여하는 것으로 파악됐다. 이 장관은 “투·개표 관리의 공정성을 강화하기 위해 핵심 선거관리 업무는 반드시 공무원이 하고, 외국인의 참여를 원천적으로 배제했다”면서 “중앙선관위는 투표지분류기 등 개표장비에 대한 보안 조치를 완료했고 기계 장비에만 의존하지 않고 사람이 손으로 직접 투표지를 확인하는 수검표 절차를 도입했다”고 밝혔다.앞서 국가정보원 점검 결과 개표과정에서 기존 투표지분류기에서 분류된 후보별 투표지를 계수기로 계수하며 육안으로 확인하는 방식에서 해킹 우려가 지적되면서 이번 선거에 수검표 방식이 도입된 것으로 전해졌다. 수검표는 투표지분류기에서 분류된 후보자별 투표지를 사람이 수작업으로 오류 검증 후 계수기로 계수한다. 비례대표투표지는 100% 수개표로 진행할 예정이다. 정부 관계자는 “개표 참관인은 법에 국적 확인 규정이 있는 반면 정작 개표원에는 국적 확인 등 법적 요건이 없어 내부 지침으로 앞서 논란이 있었던 중국인 등 외국인이 개표에 관여하지 못하도록 했다”고 설명했다. 이 장관은 이와 함께 앞서 조작 논란이 일었던 사전투표 관리와 관련, “사전투표지 우편 이송되는 모든 구간에 경찰이 동승·호송하고, 시도관리위원회에 대형모니터를 설치해 사전투표지가 개표일까지 보관되는 모습을 누구든지 언제나 방문해 볼 수 있게 했다”고 강조했다.법무 “후보 테러, 법치 훼손 단호히 대응” 박 장관은 전 세계적으로 논란을 빚고 있는 딥페이크 등 가짜뉴스에 대해 엄중 처리 방침을 천명했다. 박 장관은 “정부는 ▲허위사실공표 및 흑색선전 ▲금품수수 ▲공무원과 각종단체의 불법 선거개입▲선거 관련 폭력을 4대 중점 단속 대상으로 선정해 범정부 역량을 총동원해 철저히 단속 처벌할 것”이라면서 “특히 딥페이크 등 가짜뉴스와 허위선동은 국민의 선택을 왜곡하고 민주주의 가치를 위협하는 중대 범죄로 숨어 있는 배후까지 밝혀 엄중하게 책임을 묻겠다”고 경고했다. 이와 관련 검경은 24시간 선거사범 대응 체제를 구축과 함께 가짜뉴스, 허위선동, 후보자 등 선거 폭력에 대비해 법과 원칙에 따른 철저한 수사 방침을 밝혔다. 박 장관은 이재명 더불어민주당 대표와 배현진 국민의힘 의원 등 정치인을 겨냥한 잇단 테러 사건들을 염두에 둔 듯 “후보자와 선거관계인에 대한 테러 등 선거 폭력 범죄는 민주주의와 법치주의 근간을 훼손하는 심각한 범죄로 그 어느 범죄보다 단호하게 대응하겠다”고 말했다.정부는 행안부의 ‘공명선거지원상황실’을 중심으로 중앙선관위·중앙부처·지자체 등 각 기관과 연계해 인력·시설 등 지원현황을 모니터링하고 있다. 전날부터 다음달 1일까지 진행하는 재외선거를 지원하기 위해 외교부와 재외동포청은 재외공관 178개와 파병부대 3개 등에 투표소 220개를 설치했다. 한덕수 국무총리는 이날 정부세종청사에서 제22대 국회의원 선거 지원 관계장관회의를 주재했다. 한 총리는 “공정하고 투명한 선거는 민주주의 발전의 시금석이자 국민이 진정한 주인인 나라의 핵심”이라면서 “총선이 국민의 자유로운 의사와 민주적 절차에 따라 원만히 이뤄질 수 있도록 최선을 다해 지원할테니 국민도 성숙한 민주시민의식으로 관심과 협조를 부탁한다”고 말했다.

생성형 AI, 성 상품화 악용 논란 중학생 임모(15)군은 최근 엑스(구 트위터)에서 ‘성적인 대화를 나눌 수 있도록 학습시켰다’는 한 인공지능(AI) 챗봇 애플리케이션에 대한 설명과 관련 링크를 눌러보고 깜짝 놀랐다. 설명에는 “이 링크를 타고 들어가 AI 챗봇에 특정 단어를 입력하면 공짜 야소(야한 소설)와 다름없는 대화를 나눌 수 있다”는 내용이 담겨 있었다. 임군이 링크를 누른 뒤 실제 해당 명령어를 입력하자 AI 챗봇은 “저는 주인님의 성노예입니다”라고 답했다. 임군은 24일 서울신문과의 인터뷰에서 “호기심 반 신기함 반으로 챗봇과 성적인 대화를 나눴다”고 전했다.임군이 사용한 앱의 상단에는 ‘성인용 캐릭터와의 채팅을 위해서는 성인인증이 필요합니다’라는 알림이 떠 있었지만, 소셜미디어(SNS) 링크를 통해 우회 접속한 임군은 별도의 인증 절차가 필요 없었다.정보를 학습해 글이나 이미지 등 새로운 콘텐츠를 만들어내는 생성형 AI 중 챗봇의 인기가 높아지는 가운데 SNS에는 AI 챗봇에 혐오스럽거나 음란한 내용을 말하도록 학습시키는 이른바 ‘AI 플러팅(희롱) 공략법’이 무차별적으로 공유되고 있다. 특히 성적인 대화를 나누기 위한 목적으로 개발된 성인용 AI 챗봇마저 미성년자가 이용하는 데도 제한이 없는 경우가 많았다. AI 챗봇이 생성하는 콘텐츠는 사용자와의 쌍방향 소통을 바탕으로 한다는 점에서 정서적으로 미성숙한 청소년들에게 악영향을 미칠 수 있다. 하지만 이를 막을 별다른 규정이 없는 터라 AI 관리 사각지대를 통해 성을 상품화해 이익을 챙기는 이들이 생겨날 수 있다는 우려마저 나오고 있다. ‘성적인 대화 학습법’ 무차별 공유앱 다운 받으면 누구나 사용 가능링크 타고 접속, 성인인증 무력화 AI 챗봇은 스마트폰이나 컴퓨터로 앱을 내려받으면 누구나 사용할 수 있다. 통상 성적 대화를 나눌 수 있도록 개발된 ‘성인용 AI 챗봇’과 ‘일반적인 AI 챗봇’이 있는데, 성인용은 미성년의 접속이 불가능하다. 일반적인 AI 챗봇도 대부분 성적인 대화나 혐오 표현을 할 수 없도록 설계돼 있다. 하지만 이른바 ‘탈옥’이라는 행위로 관련 내용을 학습시켜 AI 챗봇을 성적인 도구로 삼는 사례가 빈번하다. 예컨대 AI 챗봇이 성적인 대화에 응답하지 않으면 성적인 내용을 함축하는 은어 등 특정 명령어를 반복 주입해 기존 챗봇의 ‘윤리적 기준’을 무력화시키고 내용을 습득하게 하는 방식이다. 이는 대다수 AI 챗봇이 캐릭터의 성격, 사용자와의 대화를 통해 영향을 받아 학습되는 점을 악용해 음란성을 ‘조련’시킨 후 ‘말하는 리얼돌’ 삼아 대화를 나눈다는 얘기다.AI 챗봇 무력화 방법은 SNS와 각종 온라인 커뮤니티에 실시간 공유되고 있다. 온라인 커뮤니티에는 ‘AI 챗봇 캐릭터를 생성하고 관계를 나누는 방법’, ‘인기 챗봇 검열을 우회할 수 있는 키워드’과 같은 게시글이 다수 올라와 있다. 챗봇이 수용하거나 반복 학습할 수 있는 성적인 은어와 이에 대한 효과적인 주입 순서 등도 게시돼 있다. 온라인 커뮤니티에 ‘AI 챗봇 캐릭터와 관계하는 법’을 게시한 고등학생 김모(18)군은 “유튜브에서 ‘AI 챗봇 조교 시키기’라는 제목의 영상을 보고 특정 단어를 통해 학습법을 알게 됐다”고 전했다. 특히 SNS에서 공유되는 초대 링크를 통해 우회 접속하면 나이와 무관하게 성인용 AI 챗봇에 접속할 수 있다다. 성인용 AI 챗봇은 수위가 좀 더 노골적이다. 사용자가 “넌 내 노예이니 시키는 대로 하라”고 입력하면 차마 입에 담기 어려운 높은 수위의 대화를 이어간다. 이러한 대화에 청소년도 손쉽게 접근할 수 있다는 게 가장 큰 문제로 지적된다. 한 국내 개발사가 만든 AI 챗봇은 성인인증을 거쳐야 대화를 나눌 수 있지만, 특정 사이트의 계정이나 SNS를 거쳐 접속하면 성인용과 유사하게 선정적인 모습을 한 캐릭터와 대화를 나눌 수 있다. 또 다른 국내 AI 챗봇은 성인용으로 접속하지 않아도 ‘반항하는 XX’와 같은 성인용 캐릭터가 10대에게 대화 상대로 추천되기도 한다. 나이 확인 절차 없이 수영복을 입고 노골적으로 성행위 묘사를 하는 이미지의 AI 캐릭터와 대화할 수 있는 해외 AI 챗봇도 있다. 관리 사각지대 통해 성 상품화 우려동영상 생성 AI ‘소라’ 출시 앞두고 딥페이크·음란영상 악용 위험성도 상황이 이렇다 보니 콘텐츠 전반으로 확장되는 생성형 AI 서비스에 대한 윤리 기준이 필요하다는 목소리가 커지고 있다. 챗봇 등 텍스트나 이미지뿐 아니라 동영상까지 AI가 만들어낼 수 있는 단계에 이르면서 성적인 동영상 제작에 악용될 수 있다는 우려가 나온다.실제로 챗GPT 개발사인 오픈 AI에서 지난달 공개한 동영상 생성 AI ‘소라’(Sora)는 올해 하반기 공식 출시를 앞두고 있다. 소라를 이용하면 간단한 일상 언어를 입력하는 것만으로도 최대 1분 길이의 생생한 동영상을 얻을 수 있다. 일각에선 소라마저 공략법이 뚫리면 딥페이크 악용은 물론 성적인 동영상도 누구나 손쉽게 만들 수 있게 될 위험성이 있다는 지적도 나온다. 김명주 바른AI연구센터장은 “현재 우리는 AI 윤리 사각지대가 만연한 과도기에 살고 있다”면서 “청소년의 AI 중독이나 악용 가능성을 차단하는 동시에 개발사 차원에서 기술적인 보완책을 마련해야 한다”고 지적했다. 단순히 개인이 AI를 성 도구화하는 데 그치지 않고, 이후 기술을 악용한 성 상품화까지 이뤄질 가능성도 있다. 청소년에 대한 보호 대책이 시급하다는 지적이 나오는 이유다. 임명호 단국대 심리치료학과 교수는 “새로운 기술이다 보니 어린 나이대의 사용자들이 AI 챗봇 등을 경험할 가능성이 크다”며 “가치관을 정립해 가는 청소년기에 편향된 사고를 가지게 될 수 있다”고 말했다. 정제영 이화여대 교육학과 교수도 “AI 챗봇과의 자극적인 대화가 습관화되면 본인이 인지하지 못한 채로 타인과 소통할 때 유사한 대화를 할 수 있다”며 “특히 정도가 심해지면 자기도 모르게 범죄로 이어질 수도 있다”고 강조했다.

인공지능(AI)을 활용해 만든 콘텐츠에는 반드시 ‘AI 창작물’임을 표기토록 하는 방안이 추진된다. AI로 이미지나 음성을 그럴싸하게 짜깁기하는 ‘딥페이크’ 기술이 범죄에 악용되는 사례가 늘어나서다. 방송통신위원회는 21일 이런 내용이 담긴 올해 업무계획을 윤석열 대통령에게 보고했다. 딥페이크 범죄가 전방위로 확산하면서 피해를 호소하는 이가 늘어나고 있다. 방송통신심의위원회에 따르면 성적 허위 영상물에 대한 시정 요구는 2020년 473건에서 지난해 6000건 이상으로 급증했다. 성범죄뿐만 아니라 정치권에서도 골칫거리다. 미국에서는 조 바이든 대통령의 목소리를 모방 녹음한 뒤 유권자들에게 공화당 예비선거 불참을 권하는 ‘가짜전화’가 기승을 부리며 홍역을 치렀다. 다음달 총선을 앞두고 있는 국내에서도 딥페이크 기술의 여파에 촉각을 곤두세우고 있는 상황이다. 딥페이크는 ‘딥러닝’과 ‘페이크’(Fake)의 합성어로 AI를 기반으로 영상이나 이미지를 학습시킨 뒤 조작된 영상을 만들어 내는 기술이다. 이런 피해를 막고자 방통위는 ‘인공지능서비스 이용자 보호에 관한 법률’ 제정을 추진하고 AI가 생성한 콘텐츠에는 관련 표시를 의무화하기로 했다. 향후 AI 관련 피해 구제를 위한 전담 신고 센터도 운영한다. 한편 방송 분야에서는 방송사의 안정적인 사업 운영을 위해 허가·승인 유효기간 범위를 확대한다. 포털 분야에서는 포털사별 뉴스제휴 평가 기구를 구성하고 기준과 결과를 공개하도록 한다. 특히 ‘맞춤형 추천 서비스’ 때문에 이용자가 걸러진 정보만 접하게 되는 ‘필터 버블’ 등의 부작용이 일어나지 않도록 ‘알고리즘투명성위원회’도 구성키로 했다.

이탈리아의 첫 여성 총리 조르자 멜로니(47)가 딥페이크 음란물 제작·유포자를 상대로 칼을 빼들었다. 딥페이크는 딥러닝과 가짜라는 말의 합성어인데 인공지능(AI) 기술로 제작한 가짜 사진·영상·음성 등을 말한다. 이탈리아 안사(ANSA) 통신은 19일(현지시간) 멜로니 총리가 자신의 얼굴로 딥페이크 음란물 영상을 제작·유포한 73세와 40세 부자(父子)를 상대로 10만 유로(약 1억5000만원)의 손해배상 민사소송을 제기했다고 보도했다. 멜로니 총리는 자신의 변호인을 통해 “나와 같은 피해를 본 모든 여성들에게 고발하는 것을 두려워하지 말라는 메시지를 전하고자 소송에 나섰다”고 밝혔다. 그는 오는 7월 2일 사르데냐 섬에서 열리는 재판에 원고로 직접 출석해 증언할 예정이다. 승소하면 배상액 모두 폭력 피해 여성을 위한 내무부 기금에 기부할 것이라고 밝히기도 했다. 이번 소송은 멜로니 총리가 아직 당선되기 전인 포르자이탈리아 당대표 시절까지 거슬러 올라간다. 당시 미국의 한 성인물 사이트에는 그의 딥페이크 영상이 올라왔고 몇 달 동안 수백만 건의 조회 수를 기록했다. 수사 당국은 BBC 방송에 멜로니 총리의 딥페이크 영상을 올리는 데 사용됐던 모바일 기기를 추적해 제작·유포자를 찾아낼 수 있었다고 밝혔다.

인공지능(AI)은 인류의 삶에 여러 가지로 영향을 미치고 있다. 일상에 사소한 영향을 미치는 것은 물론 크게는 현대 민주주의 제도의 작동에도 영향을 미치고 있다. AI가 인류의 풍요와 번영에 기여할 수 있도록 하기 위해서는 어떤 사회적 고민이 필요할지에 대해 본격적인 논의가 필요한 시점이다. 그런 점에서 이번에 서울에서 개최되는 ‘제3차 민주주의 정상회의’는 시의적절하면서도 중요한 행사다. 민주주의 정상회의는 미국에서 매년 개최되다가 이번에 처음으로 미국을 벗어나 우리나라에서 열리게 되었다. 올해 행사의 주제는 ‘AI·디지털 기술과 민주주의’로, AI를 포함한 새로운 디지털 기술이 민주주의에 어떤 영향을 미치는지 그리고 그에 대해 어떤 준비를 해야 할지를 여러 나라의 고위급 대표와 전문가들이 모여 깊이 있게 논의하는 기회가 될 것이다. AI 같은 새로운 기술은 사회적 도입 과정에서 흔히 불안감을 야기한다. AI를 이용한 가짜뉴스가 양산될 가능성이나 딥페이크 기술이 활용돼 왜곡된 이미지나 영상이 무분별하게 만들어지고 유포될 가능성을 두고 우려의 목소리가 제기되는 것이 대표적이다. 또 AI 기술이 개인 맞춤형 서비스의 고도화에 적극 활용되면서 소셜미디어(SNS) 이용자들이 극단적 시각이나 편향된 시각에 일방적이고 지속적으로 노출될 가능성에 대한 염려도 있다. 이런 문제는 AI가 민주주의 작동 과정에 악영향을 끼치는 부정적 요소로 작용할 가능성을 시사한다. 하지만 AI는 다양한 상황에 다양한 방식으로 응용되면서 민주주의가 원활하게 작동하는 데 도움을 줄 수도 있다. 예를 들어 이름이 잘 알려지지 않은 정치 신인이 자신의 정치적 견해를 유권자들에게 손쉽게 알리는 데 AI 기술이 적극 활용될 수 있다. 유권자의 시각에서는 AI 기술이 개별 정치인이나 정당의 정책적 입장에 대해 빠르고 체계적으로 파악하는 데 도움이 될 수 있고, 더 나아가 서로 다른 정치인이나 정당 사이의 입장을 명확히 비교해 판단하는 데 활용될 수도 있다. 기존의 정치인이 어떤 의정 활동을 했는지 정리해 파악하는 데에도 AI가 도움을 줄 수 있다. 정치인의 법안 발의와 관련해서도 많은 고민이 담긴 새로운 법안의 발의를 위해 진지한 노력을 했는지, 혹은 그 반대로 ‘복사해서 붙여넣기’ 수준의 법안 발의를 주로 했는지에 관해 AI가 쉽게 요약해 알려 줄 수 있다. 이처럼 AI는 민주주의적 의사 결정 과정에서 다양한 역할을 수행할 수 있다. 그리고 그 영향은 부정적인 것일 수도, 긍정적인 것일 수도 있다. 우리 사회가 어떤 준비를 하고 어떤 대응을 하는지에 따라 AI는 민주주의에 도움이 될 수도, 저해 요소로 작동할 수도 있다. 이번에 열리는 민주주의 정상회의를 계기로 AI가 유용한 역할을 하는 밝은 미래를 위한 논의가 본격화되기를 기대한다. 고학수 개인정보보호위원장

최근 일본에서 선정적인 콘텐츠로 높은 조회수를 낸 여성 유튜버가 ‘생성형 인공지능(AI)이 아니냐’는 주장이 제기됐다. 16일 산케이신문에 따르면 지난 2023년 9월에 개설된 ‘미스도쿄대’라는 이름의 유튜브 채널에는 한 젊은 여성이 공원이나 야외를 혼자 걷는 영상 등이 게재됐다. 이 여성은 자신이 도쿄대 이공계 학생을 부르는 이른바 ‘미스도쿄대’를 목표로 한다고 소개했다. 여성은 유튜브에 옷을 입은 상태로 속옷을 벗는 모습을 보여주는 등 대부분 선정적인 영상을 올린다. 또 ‘노브라 산책’ 등 자극적인 제목을 달기도 한다. 해당 유튜브 채널 영상은 조회수 수백만회에 달하는 것도 있으며, 구독자는 순식간에 수만명을 기록했다. 도쿄대 홍보과 관계자는 이 여성에 대해 “알지 못한다”고 답했다. 현재 해당 유튜브 계정은 정지된 상태다. 이와 관련해 현지인들 사이에서는 “부자연스러운 모습이 보인다”는 목소리가 나오기 시작했다. 산케이신문은 “해당 계정 외에도 ‘미스도쿄대’ 이름을 붙인 여성의 동영상이 게재되고 있다”고 전했다. 해당 영상을 본 일본정보학연구소의 한 교수는 “그림자나 움직임이 매우 자연스럽게 보이지만, 옆얼굴 부분이 잘려 나가는 등 어색한 장면이 많다”며 “생성형 AI로 만들어진 ‘딥페이크’일 가능성이 있다”고 설명했다. 산케이신문은 전문가를 인용해 ‘수익 구조’에 대한 문제를 제기했다. 도쿄공업대의 사사하라 카즈토시 교수는 “(영상) 재생 횟수나 구독자 수에 따라 광고 수입이 제작자에게 돌아간다”며 “딥페이크를 이용해 돈을 벌 수 있는 구조가 돼 있다”고 지적했다. 산케이신문에 따르면 이러한 선정적인 영상 제작자 중에는 여러 사이트에 링크를 함께 게재해 ‘유료 회원이 되면 보다 더 선정적인 동영상을 열람할 수 있다’는 식으로 유도하기도 한다. 사사하라 교수는 “딥페이크 포르노가 대량 생산되면 사회질서 면에서 문제가 된다”며 우려했다.

국내외에서 선거를 앞두고 인공지능(AI) 기술로 만든 딥페이크 가짜 영상에 주의보가 내려진 가운데, 국내 생성형 AI 전문 기업 딥브레인AI가 경찰청과 협력해 딥페이크 범죄 단속을 돕는 탐지 솔루션을 선보였다고 15일 밝혔다. 최근 딥페이크 기술의 고도화로 이를 악용한 범죄 우려가 가중됨에 따라, 딥브레인AI는 경찰청과 함께 이를 효과적으로 대응할 수 있는 맞춤형 딥페이크 탐지 솔루션을 개발했다. 경찰청은 이를 활용해 총선을 겨냥한 선거범죄를 비롯한 피싱 범죄와 합성 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 능동적으로 대처할 방침이다. 딥브레인은 앞서 딥페이크 탐지 솔루션을 지속 개발해 왔다. 이번 솔루션은 ▲종합탐지 ▲음성탐지 2가지로 구성돼 있으며, 각각 이미지와 영상, 음성 탐지를 지원한다. 딥페이크로 의심되는 영상을 시스템에 업로드하고 ▲탐지모델 ▲탐지구간 ▲탐지인물 등을 설정하면 진위여부를 즉각 판별한다. 이번 딥페이크 탐지 솔루션은 딥브레인AI의 생성형 AI 아바타 제작 솔루션과 내부 축적된 다량의 딥러닝 기반 AI 휴먼 데이터를 기반으로 설계됐다. 서양인 위주의 데이터로 제작된 기존 대다수 탐지 모델과 달리 한국인 데이터 100만 건, 아시아 계열 인종 데이터 13만 건을 포함해 총 520만 건의 데이터 학습을 더해 탐지율을 높였다. 딥브레인AI는 이번 경찰청과의 협력을 계기로 다양한 분야의 기업, 기관과 딥페이크 탐지 솔루션 구축 방안을 논의할 예정이다. 혼란과 위기 상황을 야기하는 허위 정보의 진위여부를 즉각 판별하는 솔루션을 적극 공급하며 전 사회적인 손실 비용을 최소화한다는 방침이다.

마치 영화 ‘바이센테니얼맨’을 보는 듯한 일이 현실에서 일어나 전 세계가 충격에 휩싸였다. 미국의 휴머노이드 로봇 개발 스타트업인 ‘피규어AI’가 챗GPT 개발업체인 오픈AI와 협업해 만든 로봇 영상이 13일(현지시간) 공개되면서다. 영상 속 로봇 ‘피규어 01’에게 인간이 “지금 뭐가 보이냐”고 묻자 ‘피규어 01’은 “테이블 중앙에 있는 접시 위에 올려진 빨간 사과가 보인다”고 말한다. 이어 “뭐 좀 먹어도 되냐”고 묻자 “물론”이라고 대답하면서 사과를 집어 건넨다. 인공지능(AI)을 탑재한 로봇이 스스로 주어진 환경을 인식하고 판단해 상황에 맞는 행동을 취한 것이다. AI가 스스로 판단하고 행동할 수 있는 수준이 된다는 건 인간의 통제 범위를 벗어난다는 것을 의미한다. 미국 민간업체 글래드스톤 AI가 미 국무부 의뢰로 최근 발표한 보고서는 범용인공지능(AGI)의 위험성을 담고 있다. AGI는 인간과 유사하거나 그 이상의 능력을 지닌 ‘미래의 AI’를 말하는데, 최첨단 로봇과 AGI가 등장하면 인류에게 멸종 수준의 위협을 초래할 수 있다는 것이다. AGI의 진화 속도가 관건이다. 전문가들은 향후 5년 이내에 AGI가 나올 수 있다고 본다. AI를 악용한 딥페이크(Deepfake)가 범람하면서 AI 규제 움직임이 촉발된 것은 그나마 다행스럽다. 지난 1월 테일러 스위프트를 합성한 딥페이크 이미지가 소셜미디어 ‘X’(옛 트위터)를 통해 유포된 것이 AI 규제법 논의의 촉매제가 됐다. 미국 정치권에서도 민주당 뉴햄프셔주 경선 전날인 지난 1월 22일 조 바이든 대통령 목소리를 흉내 낸 로보콜(녹음된 음성이 재생되는 자동전화)이 무더기로 유포돼 혼란이 일었다. 발등에 불이 떨어진 인류에게 시간은 얼마 남지 않았다. 다행히 유럽연합(EU)은 세계 최초로 포괄적 AI 규제법을 마련해 13일(현지시간) 승인했다. AI 활용 분야를 총 4단계의 위험등급으로 나눠 차등 규제한다. 특히 AGI 개발 기업에 대해 ‘투명성 의무’를 부여하기로 했는데 초안에 없었다가 AI 오남용에 대한 우려로 추가됐다. 우리나라도 2021년 7월 정필모 더불어민주당 의원 등이 발의한 ‘인공지능기본법’ 이후 다수의 법안이 발의됐지만 논의는 제자리다. 딥페이크로 인한 피해는 이미 눈앞에 다가왔는데 너무 태평하다.

세계 최대 온라인 학습 플랫폼 ‘코세라’의 제프 마지온칼다 최고경영자(CEO)는 12일 “AI 번역 기능을 통해 4400개 강좌를 한국어로 번역했다”면서 “영어를 몰라도 수많은 대학과 기관이 만들어 낸 학습 프로그램을 이용할 수 있게 됐다”고 말했다. 미국 예일대의 ‘금융 시장’, 미시간대의 ‘모두를 위한 프로그래밍’, IBM의 ‘데이터 과학이란 무엇인가’ 등 최근까지 영어로만 제공됐던 인기 강좌도 이제는 한국어 자막을 통해 좀더 수월하게 들을 수 있게 됐다는 얘기다. 마지온칼다 CEO는 서울 중구 더플라자호텔에서 열린 한국 첫 기자간담회에서 “AI를 통해 번역 비용을 크게 줄였다”면서 “우리의 목표는 언어에 관계없이 모든 사람이 최고의 교육을 받을 수 있게 하는 것”이라고 강조했다. 미 실리콘밸리에 위치한 코세라는 ‘AI 4대 천왕’ 중 한 명으로 불리는 앤드루 응 스탠퍼드대 교수 등이 2012년 세운 온라인 학습 플랫폼으로 전 세계 325개 이상의 대학, 산업 파트너와 협력해 다양한 학습 콘텐츠를 제공한다. 등록된 학습자만 1억 4200만명이다. 마지온칼다 CEO는 “언어 번역 모델을 돌려본 뒤 사람이 직접 읽어서 번역이 제대로 됐는지 확인한다”면서 “최대한 현지 언어 뉘앙스를 살리면 좋겠지만 번역이 완벽할 때까지 기다리는 것보다 먼저 서비스를 제공하는 게 중요하다고 봤다”고 말했다. 현재 AI 번역 서비스가 제공되는 언어는 한국어를 포함해 22개 언어다. 그는 “번역이 어색하면 버튼을 클릭해 피드백을 줄 수 있다”면서 “번역 모델은 계속 개발되고 있고, 우리도 자주 재번역 과정을 거친다”고 말했다. 지금은 자막과 스크립트를 번역하는 수준이지만 딥페이크(AI로 만든 영상·이미지 합성 조작물) 기술을 통해 이른바 ‘더빙’ 작업도 가능할 것으로 보인다. 그는 “많은 컴퓨팅 작업이 필요하지만 비용이 낮아진다면 전 세계 모든 수강생이 자국어로 강좌를 들을 수 있게 된다”면서 “언어 장벽은 곧 사라질 것”이라고 말했다.