촉법소년·성착취물·인공지능…논쟁적인 주제들 담은 소설집파편화된 인간성의 민낯 그려충격 반전에 영화 보는 듯 생생지난달 의정부 경전철에서 중학생들이 노인들을 폭행하는 사건이 발생한 가운데 가해자들이 만 13세로 형사처벌이 면제되는 ‘촉법소년’(만 10세 이상 만 14세 미만 미성년자)으로 알려져 논란이 일었다. 갈수록 늘어나는 소년범죄를 예방하려면 촉법소년 연령을 낮춰야 한다는 여론이 재점화됐기 때문이다. 지난해 온라인 메신저 ‘텔레그램’에 개설된 단체 채팅방에서 불법 성착취물을 제작·유포한 ‘n번방’의 존재는 더 큰 충격을 줬다. 최근엔 인공지능(AI) 챗봇 ‘이루다’가 여성·성소수자에 대한 혐오 발언을 조장하고 개인정보를 유출한 사실이 드러나 AI 기술 남용에 대한 우려가 커졌다. 우리 사회에서 논쟁적 주제인 촉법소년, 성착취, AI가 독보적 작품 세계를 가진 작가 아홉 명에게서 소설로 태어났다. ‘낯익은 괴물들’은 이들 문제가 일상에서 촉발하는 이야기를 다채로운 서사로 펼친다.‘시골악귀’(김종광 작가)와 ‘테임’(김이설 작가)은 촉법소년 문제에 질문을 던진다. ‘시골악귀’에선 시골 마을에서 절도와 성폭행을 일삼아 소년원에 들어간 강수의 행각이 생생하게 펼쳐진다. “청소년이 더 악귀다. 어른이고 청소년이고 본성이 문제다. 세 살 본성 여든 살까지 간다”(25쪽)는 성폭행 피해자의 독백은 ‘어린 나이가 면죄부가 될 수 있냐’는 정당한 문제 제기를 대변한다. 강수의 악마성에는 가정불화가 한몫했음을, 그를 단죄하는 주체도 결국 부모가 될 수밖에 없다는 점도 암시한다. ‘테임’의 주인공 지훈은 사이코패스 소년 태현과 어울리다 충동 조절에 실패하고 파국을 맞는다. 정신을 차린 지훈이 문득 떠올린 생각은 ‘열네 번째 생일이 일주일 뒤였다’(70쪽)는 것이다. 어리지만 악하게 변모하는 그들은 과연 누구인지 물으면서 우리 아들딸들도 언제든 환경에 따라 괴물로 변할 수 있음을 보여 준다.‘천국의 낮’(주원규 작가)은 마치 n번방 사건을 밀착 취재한 듯 온라인상에서 은밀히 자행되는 성착취의 참혹한 현장을 날것 그대로 그려 낸다. 여고생 ‘미’는 악마와도 같은 ‘구’에게 성착취를 당하지만, 결국 유일한 혈육인 아빠에게도 외면받아 혼자 남겨진다. 끔찍하고 암울한 성착취의 공범은 이를 은밀히 즐겨 온 대중과 주변의 무관심이라는 메시지를 던진다. AI와 함께할 우리 미래가 과연 진보인가 퇴보인가. ‘헤어지는 중’(김희진 작가)은 결혼 생활에 활력을 주려고 구매한 AI 애견로봇 ‘로이’를 두고 드러난 관계와 감정의 변화, 갈등을 이야기한다. 소설들은 영화를 보는 듯 생생하다. 반전의 등장도 만만치 않은 충격이다. 단편소설 특유의 여운과 서사적 재미도 갖췄다. 모종의 두려움을 주는 ‘괴물’을 통해 공통적으로 현대 문명사회가 가져온 소외와 박탈감, 파편화된 인간성의 민낯을 그려 냈다. ‘열다섯 살이 지난 뒤에도’(서유미 작가) 말미의 ‘매번 새롭게 고통스럽다는 게 삶의 숨겨진 비밀이겠지’(104쪽)라는 대목은 이 같은 실존이 가져온 후유증은 시간이 지나도 치유하기 힘들다는 점을 의미한다. 가해자보다 피해자가 고통스럽게 사는 현실에서 사생활 침해 등을 이유로 ‘n번방 방지법’ 도입을 놓고 홍역을 치른 우리 사회가 곱씹어 볼 대목이다. 하종훈 기자 artg@seoul.co.kr

서울 시내 유명 브랜드 아파트 주민들이 배달노동자들이 화물용 승강기로 다니게 한 것으로 확인됐다. 주민들은 “냄새가 나는게 싫다”는 이유로 배달노동자들에게 물건을 옮기는 화물용 승강기를 이용하게 한 것으로 전해졌다. 뿐만 아니라 이 아파트 주민들은 출입 전 신분증을 걷고, 불필요한 개인정보를 기입하게 하는 등의 인권 침해 정황도 드러났다. 라이더유니온은 지난 25일부터 배달노동자들이 화물용 승강기로 다니게 한 것을 명백한 인권 침해로 보고 국가인권위원회에 진정을 제기하기 위해 제보를 받고 있다. 라이더유니온이 28일 현재까지 라이더들에게 제보받은 5개 아파트에는 연예인이나 정재계 인사들이 다수 거주하는 서울 용산구 한남동 나인원한남, 서울 서초구 서초아크로비스타, 서울 성동구 성수동 아크로포레스트, 서울 양천구 목동 하이페리온, 서울 영등포구 당산1동 리앤나빌리지 등이 포함돼 있다. 라이더유니온은 라이더들에게 ‘http://bit.ly/갑질아파트진정’를 통해 신청서를 작성한 뒤 riderworkers@gmail.com으로 증거 사진과 영상을 보내달라고 안내했다. 라이더유니온은 “배달노동자들에 대한 차별적 대우는 헌법 제11조 1항이 보장하는 ‘누구든지 성별·종교 또는 사회적 신분에 의하여 정치적·경제적·사회적·문화적 생활의 모든 영역에 있어서 차별을 받지 아니할 권리를 침해한 조치”라며 “동조 2항이 금지하는 사회적 특수계급의 제도의 구체적 사례이며 배달 직종에 대한 명백한 혐오”라고 판단했다. 해당 아파트 입주민들은 승강기 내부의 음식 냄새가 불편하다는 등의 이유로 배달노동자에게 화물용 승강기만을 사용하게 한 것으로 알려졌다. 라이더유니온은 “배달원은 화물이 아닌 사람이자, 노동을 통해 삶을 꾸려나가는 당당한 사회의 일원”이라며 “열등함의 공적 낙인 음식 냄새는 배달원들의 모멸감을 통해 해결할 것이 아니라 직접 로비로 나와 음식을 받는 것으로 수령방식을 통일하는 등 입주민의 자체적인 합의와 수고를 통해 해결해야 한다”고 밝혔다. 뿐만 아니라 해당 고가 아파트 주민들은 ‘보안과 안전’이라는 명목으로 동의를 받는 절차 없이 배달원의 신분증을 걷고 개인정보를 무단으로 수집한 것으로 나타났다. 구교현 라이더유니온 기획팀장은 “이러한 관행은 코로나 이전부터 계속된 관행으로 봐야할 것 같다”며 “인권위가 법정기구인 아파트 입주자대표회의를 특정해 가이드라인이나 적극적으로 시정할 수 있도록 권고를 낼 수 있을 것”이라고 했다. 최영권 기자 story@seoul.co.kr

37년 전인 1984년, 놀라운 상상력을 보여주는 SF영화가 개봉했습니다. 바로 ‘터미네이터’ 입니다. 스스로 생각을 할 수 있게 된 인공지능(AI) 시스템이 인류를 멸망시키려 하고 인간은 이를 막기 위해 고군분투한다는 내용을 이리저리 엮어 관객들의 시선을 사로 잡았습니다. 전 세계적으로 흥행한 이 영화는 사람들의 마음 속에 AI에 대한 막연한 불안감을 갖게 만들기도 했습니다. 이 때문에 AI 관련 논의가 있을 때마다 터미네이터는 소환되곤 합니다. 1950년대에 AI 개념이 등장하고 오랜 잠복기를 지나 2000년대 들어 관련 연구가 폭발적으로 증가하면서 기술 발전 속도는 상상을 초월하고 있습니다. 실제로 최근 몇 년 사이에 다양한 형태의 AI 기술이 폭넓게 활용되고 있습니다. 연구자들이 AI를 포함해 과학기술을 연구하는 목적은 인류가 좀 더 나은 삶을 살도록 하기 위한 것입니다. 미국 캘리포니아 버클리대 레드우드신경과학연구소 설립자 제프 호킨스 박사도 ‘생각하는 뇌, 생각하는 기계’라는 저서에서 “AI 같은 두뇌형 기계를 개발하는 것은 인간의 감각으로는 인식하기 어렵고 빠르게 계산하기 어려운 문제들을 손쉽게 해결함으로써 인간의 감각과 지적능력을 확장하기 위한 것”이라고 말했습니다. 그렇지만 인간이 만드는 기술과 시스템은 정도의 차이만 있을 뿐 모두 윤리적 문제를 갖고 있습니다. AI도 마찬가지입니다. 2016년 ‘인공지능과 2030년의 삶’이라는 분석보고서를 작성한 미국 스탠퍼드대 ‘AI 100’ 연구단은 “영화 ‘마이너리티 리포트’에서처럼 범죄예방 프로그램을 비롯해 다양한 형태의 인공지능 기술은 알고리즘을 설계한 개발자의 편견이 개입할 수 있으며 프라이버시 침해에 대한 우려도 크다”라고 분명히 지적했습니다. 스위스 로잔연방공과대학 컴퓨터·커뮤니케이션공학과 연구팀 역시 AI를 활용한 사회관계망서비스(SNS)의 맞춤형 뉴스피드 알고리즘은 개인화되고 편향된 데이터를 기반으로 서비스를 제공하기 때문에 세계를 바라보는 시각과 가치관을 왜곡시키거나 편협하게 만들 수 있으며 사회 전체에 악영향을 미칠 수 있다는 연구결과를 내놨습니다. 이런 문제를 해결하기 위해 어떤 노력을 하느냐에 따라 기술의 최종 성패가 좌우되는 경우가 많습니다. 최근 AI챗봇 ‘이루다’가 혐오표현 학습과 개인정보 노출 등 문제로 운영이 중단됐습니다. 이에 대해 AI 기술 고도화를 위해 어쩔 수 없는 시행착오라던가 이번 사건이 혁신을 가로막아서는 안된다던가, 기술 문제가 아니라 혐오 표현이 일상화된 사회가 문제의 근원라는 목소리도 나왔습니다. 그런 발언의 당사자들이 인식하고 있는지는 모르겠지만 그 이면에는 기술을 사용하는 사회와 대중에게 문제가 있는 것이지 과학기술 자체는 문제가 없다는 기술의 가치중립성 논리가 숨어있습니다. 다양한 분야의 연구자들이 과학기술의 가치중립성은 환상이라고 지적하고 있습니다. 그렇기 때문에 모든 과학기술은 사회적 책임을 가져야 한다는 것입니다. 과학기술의 사회적 책임은 대학 교수나 많은 연구비를 쓰는 연구자들에게만 해당되는 것이 아닙니다. 모든 과학기술과 혁신의 중심에는 인간이 있어야 합니다. 사회적 책임을 도외시하고 인간이 소외된 혁신과 기술은 ‘야수’로 변하기 십상이라는 점을 분명히 알고 있어야 하지 않을까요. edmondy@seoul.co.kr

“개인정보 보호 체계 구축해 재발 방지”이용자 실명 깃허브 유출도 인정이용자들 “카톡 데이터 파기하라” 인공지능(AI) 챗봇 ‘이루다’ 개발사 스캐터랩이 개인정보 유출 의혹에 관한 조사에 성실히 임하겠다면서 고객에게 사과했다. 스캐터랩 측은 13일 사과문에서 “개인정보 처리 관련 관계기관 조사에 성실하게 임하고 있다. 서비스를 이용해주신 모든 이용자분들께 진심으로 사과드린다”고 밝혔다. 스캐터랩이 ‘사과문’을 발표한 것은 논란이 불거진 지 닷새 만이다. 스캐터랩은 “논란이 되는 모든 사항에 대해 진상조사위원회를 구성해 철저히 조사하는 한편, 외부전문가를 포함한 상시 개인정보 보호 체계를 구축하고 재발 방지를 위한 강화된 보안 교육을 실시하는 등 노력하겠다”며 “이번 사안으로 인해 인공지능 산업계에 계신 여러 동료 기업들, 연구자분들, 파트너들께도 누를 끼치지 않기를 바란다. AI 윤리에 관한 사회적 합의에 부합할 수 있도록 노력하겠다”고 덧붙였다. 스캐터랩은 연애 분석 앱 ‘연애의 과학’으로 이용자들의 카카오톡 데이터를 수집해 이루다 개발에 썼는데, 이 과정에서 개인정보보호법을 어겼다는 의혹을 받고 있다. 연애의 과학 앱 이용자와 이용자의 연인에게 개인정보 이용·활용 동의를 제대로 받지 않은 점, 데이터를 이루다 재료로 쓰는 과정에 익명화(비식별화)를 제대로 하지 않은 점 등이 핵심이다.연인들 대화, 사내 메신저에 부적절하게 공유했다는 의혹 스캐터랩은 이루다 관련 개발 기록을 오픈소스 공유 플랫폼 ‘깃허브’에 공유했는데 여기서도 익명화를 제대로 하지 않은 것으로 밝혀졌다. 스캐터랩은 사과문과 함께 배포한 자료에서 “깃허브에 공개한 오픈소스에 내부 테스트 샘플이 포함된 사실이 확인됐다. 실명을 자동화 비식별 처리했는데, 필터링 과정에 걸러지지 않은 부분이 일부 존재했다”며 “데이터 관리에 신중하지 못했다. 민감할 수 있는 정보가 노출된 점에 진심으로 사과드린다. 해당 깃허브 게시물은 즉시 비공개 처리했다. 대화를 나눈 사람들의 관계나 생활 반경이 추정될 여지는 전혀 없다”고 해명했다. 스캐터랩은 개인정보 이용 동의를 소홀히 받았다는 의혹에 관해서는 “연애의 과학이 동의를 받은 절차가 법적으로 문제가 없을 것이라고 판단했다”며 “이용자분들과 충분히 소통하지 못한 점은 깊이 반성한다”고 거듭 사과했다. 스캐터랩은 “데이터가 AI에 활용되기를 원하지 않는 분들은 DB에서 삭제하실 수 있다”는 입장이지만, 이용자들은 스캐터랩이 카톡 데이터를 전량 파기해야 한다고 목소리를 높이고 있다.“100억 건의 개인정보 침해가 빚어낸 참사” 연애의 과학 이용자들은 스캐터랩이 개인정보를 유출했다면서 집단소송을 준비 중이다. 이날 개인정보보호위원회와 한국인터넷진흥원(KISA)은 서울 성동구 스캐터랩 사무실을 방문해 개인정보 유출 의혹에 관한 본격적인 조사에 착수했다. 진보네트워크센터와 민변 디지털정보위원회, 사단법인 정보인권연구소, 참여연대 등에 따르면 ‘이루다’ 사태는 “100억 건의 개인정보 침해가 빚어낸 참사”라며, 신뢰할 수 있는 인공지능(AI) 세상을 만드려면 기업의 자율규제만으로는 안된다는 입장을 밝혔다. 진보넷 등은 “이루다는 사용자들의 성희롱과 폭언 등의 남용, 혐오표현에 대한 미온적 대응 등 보호받아야 할 사회적 가치를 훼손하는 알고리즘은 물론이고, 개인의 사적인 대화나 개인정보가 심각하게 수집되고 유출된 것으로 드러나 당혹감을 안겨주고 있다”고 지적했다. 이어 “국내 자본뿐 아니라 해외에서도 많은 투자를 받은 이 회사의 이번 논란을 해외 시장과 경쟁하려는 국내 청년 스타트업의 불가피한 시행착오로 포장하려는 일부 언론의 보도에 대해 우려한다”면서 “이루다 논란은 기업의 인공지능 제품이 일으킬 수 있는 문제의 한 단면일 뿐이며 이에 대한 대책을 기업 자율에만 맡겨둘 수 없다. 구체적이고 명료한 법적 규범을 마련할 것을 촉구한다”고 부연했다.김채현 기자 chkim@seoul.co.kr

카카오가 ‘증오·혐오 발언 근절 원칙’을 수립해 자사 서비스에 적용한다. 국내 기업들 중에서 이같은 원칙을 발표한 것은 카카오가 처음인 것으로 알려졌다. 이른바 ‘이루다 사건’으로 디지털·인공지능(AI) 윤리 논쟁이 불거지자 기존에 준비해온 규정을 선제적으로 내놓은 것이다. 카카오는 13일 공식 브런치를 통해 ‘증오 발언 근절을 위한 카카오의 원칙’을 공개했다. 카카오는 약 1년에 걸처 증오 발언 근절을 위한 원칙을 마련했다. 카카오 측에서는 “온라인 증오발언이 사회적 문제로 부상함에 따라 그 대응책을 마련할 필요성에 대해 국내외 공감대가 넓어지고 있다”면서 “카카오 역시 사회의 구성원으로서 디지털 공간을 보다 건강하게 만들기 위한 증오발언 대응 원칙을 수립했다”고 밝혔다.카카오는 표현의 자유를 남용해 타인의 안전을 위협하는 발언을 경계하기 위해 네 가지 원칙을 제시했다. 첫째로는 특정 대상을 차별하거나 이에 대한 편견을 조장하고 일방적으로 모욕·배척하는 행위에 반대하기로 했다. 출신 지역이나 국가, 인종, 외양, 장애 및 질병, 경제상황, 종교, 지위, 연령, 성별, 성 정체성 또는 기타 정체성 요인을 대상으로 증오·혐오 발언을 하는 것에 맞서겠다는 것이다. 둘째 원칙으로는 이러한 차별에 기반해 특정 개인이나 특정 집단을 공격하는 ‘증오발언’에 강경하게 대처하기로 했다. 셋째 원칙은 이용자의 의무에 대한 내용이다. 이용자는 폭력을 선동하거나 인간의 존엄성을 훼손하는 발언에 유의해야 한다고 강조했다. 다만 타인의 존엄성과 안전을 위협하지 않는 한 공공정책이나 자신의 신념 등에 대해 자유롭게 의견을 개진할 수 있다는 것을 분명히 했다. 마지막 원칙으로 카카오는 ‘증오발언’ 근절을 위해 정책, 서비스, 기술, 디자인을 고도화 하기로 했다. 사내 교육과 모니터링도 강화해 내부로부터 발생할지도 모르는 차별와 증오의 싹을 경계하기로 했다.이러한 원칙을 반영해 이날 카카오의 회원 운영정책 일부가 수정돼 공지로 나갔다. 이를 통해 서비스 이용시 금지하는 활동에 외양, 질병 유무, 경제 상황, 지위, 성체성, 성적 지향 등을 요인으로서 인간 존엄성을 훼손하거나 차별·편견을 조장하는 행위가 추가됐다. 이용자가 금지하는 행위를 하게 되면 관련 규정에 따라 카카오 계정과 서비스의 이용이 제한될 수 있다. 이처럼 디지털 공간 내 문제를 해결하려는 노력은 카카오의 ESG(환경·사회·지배구조) 경영 활동의 일환이다. 카카오는 전날(12일) 이사회 산하에 ESG위원회를 신설하고 김범수 카카오 이사회 의장이 위원장을 맡는다고 밝혔다. 카카오는 증오 발언 근절 원칙 수립 과정에 카카오 미디어자문위원회, 시민사회 전문가, 국가인권위원회, 한국언론법학회 등이 참여했다고 밝혔다. 카카오 관계자는 “국내에서 증오발언 근절을 위해 기업이 원칙을 제정해 이를 적용하는 것은 이번이 처음”이라면서 “게시물 운영정책의 금지항목에 일부 포함된 경우는 있으나 카카오와 같이 대상을 명확하게 정의하고 대응 의지를 밝힌 사례는 찾아보기 어렵다”고 말했다. 한재희 기자 jh@seoul.co.kr

마이크로소프트(MS)가 2016년 3월 출시한 대화형 인공지능(AI) 챗봇(채팅 로봇) ‘테이’ 서비스를 16시간 만에 중단했다. 챗봇 테이는 스스로 학습하는 인공지능 기반의 채팅 프로그램이었다. 이에 미국 극우주의자 등이 테이에게 지속적으로 반(反)유대주의, 유색인종·여성 비하, 무슬림 혐오 등을 가르쳤다. 이에 테이는 사용자들이 “너는 인종차별주의자냐?”라고 물으면 “네가 멕시코인이니까 그렇다”, “홀로코스트가 진실이냐?”고 질문하면 “조작된 것이다”라고 답해 논란이 됐다. 바로 이런 사건이 우리 한국에서도 일어났다. AI 챗봇 ‘이루다’는 스타트 업체 ‘스캐터랩’이 지난달 23일 페이스북 메신저 기반으로 출시했다. 실제 스무 살 대학생과 대화를 나누는 것 같은 자연스러운 대화 능력을 선보였다. 출시 2주 만에 약 75만명에 달하는 이용자를 모으며 10∼20대 사이에서 크게 유행했다. 스캐터랩은 이전에 내놨던 메신저 서비스에서 확보한 연인 간의 대화 데이터 100억건을 이루다에 학습시켜 최대한 사람을 닮도록 만들었다고 밝혔다. 문제는 일부 사용자의 악의적인 이용 행태까지 거르지 않고 습득한 탓에 이루다가 차별·혐오 발언까지 흉내 낸다는 점이다. 이루다 출시 일주일 만에 디시인사이드·아카라이브 등 ‘남초’(男超) 커뮤니티에서 이루다를 성적 대상으로 취급하며 ‘노예 만드는 법’ 따위를 공유해 비판을 받았다. 스캐터랩이 이루다를 개발하면서 이용자 개인정보를 제대로 보호하지 않았다는 이용자들 불만도 제기됐다. 이루다가 갑자기 누군가의 실명으로 보이는 이름을 말하거나, 동호수까지 포함된 주소 또는 예금주가 나오는 은행 계좌번호를 말하는 사례도 발견되고 있다. 스캐터랩은 다른 앱 ‘연애의 과학’을 통해 이용자들의 카카오톡 대화를 수집하는 과정에서 개인정보 관련 고지를 충분히 하지 않았고 익명화 처리도 소홀히 했다는 의혹을 받고 있다. 이용자들이 집단소송을 준비하는 등 논란이 확산되자 이루다는 12일부터 서비스를 잠정 중단했다. 인간은 사람을 닮은 인공지능 로봇을 꾸준히 개발하고 있지만 윤리 의식까지는 제대로 이식하지 못하고 있는 듯하다. AI 전문가들은 “데이터와 알고리즘은 중립적일 수 없다”면서 “AI 개발자가 윤리적 책임을 갖고 편향·차별·혐오가 없도록 지속해서 보완할 수밖에 없다”고 강조한다. 결국 최첨단 기술 문제도 개발자들의 다양성과 철학에 달려 있는 것이다. 정치사회적으로 올바른 인식이 부족한 개발자는 인류에 보탬이 되는 로봇을 만들 수 없다. 나날이 발전하는 인공지능 분야의 관건은 개발자의 윤리 의식이라는 사실을 이번 이루다의 파문이 다시 일깨워 준다.

혐오 표현과 개인정보 유출로 논란이 된 인공지능(AI) 챗봇 ‘이루다’ 운영이 잠정 중단된 가운데 개발사인 스캐터랩이 일부 개인정보 유출을 시인했다. 그러면서도 이루다 개발에 이용된 사적 카카오톡 대화 데이터를 파기하겠다는 뜻은 밝히지 않았다. 스캐터랩은 12일 보도자료를 내고 “알고리즘으로 실명 등의 정보를 제거했는데 문맥에 따라 인물 이름이 남아 있었다. 세심히 주의를 기울이지 못했다”고 했다. 이 업체는 연인과의 대화를 제공하면 친밀도를 분석해 주는 ‘연애의 과학’이라는 앱을 통해 사용자의 카카오톡 대화 100억건을 수집한 후 AI 이루다에게 학습시켰다. 이 과정에서 이름, 집 주소, 연인과 함께 간 숙박업소의 이름 등을 지우지 않고 학습시켜 불특정 다수에게 노출시킨 의혹을 받았다. 스캐터랩은 카톡 대화에서 쓸 만한 문장 1억건을 추려 익명화한 뒤 독립적인 형태로 저장한 데이터를 AI에 학습시켰기 때문에 이루다의 발언을 통해 개인을 특정하는 것은 불가능하다고 설명했다. 연애의 과학 사용자들은 스캐터랩의 데이터 전면 파기를 요구하고 있지만 개발사 측은 이런 의사를 밝히는 대신 민감 정보 노출 방지 알고리즘을 전면 개선하겠다는 대책을 내놨다. 이 업체 소속 직원들이 카카오톡 단체대화방에서 연애의 과학에서 수집된 대화 자료 가운데 연인 간의 성적인 농담을 캡처해 공유하고 웃어넘겼다는 의혹도 제기됐다. 스캐터랩 측은 “자체 진상조사위원회를 꾸려 해당 의혹을 조사 중”이라며 “그해 카카오 단체대화방에서는 해당 내용이 발견되지 않았다”고 해명했다. 정부기관인 개인정보보호위원회는 서비스 중단과 상관없이 이루다 운영의 위법성 여부를 계속 조사할 방침이다. 위원회는 개발사 측이 개인정보보호법상 사전에 고객 동의를 받지 않은 점, 비식별화 조치가 충분히 이뤄지지 않은 점이 위법 소지가 있다고 보고 있다. 최영권 기자 story@seoul.co.kr

‘혐오의 학습화’ 논란을 불러일으키면서 지난 11일 서비스가 중단된 인공지능(AI) 챗봇 ‘이루다’ 사태는 인공지능 윤리에 관한 숙제를 남겼다. 한국보다 앞서 인공지능 기술을 상용화한 해외에서는 인공지능에 의한 차별·혐오 문제를 어떻게 다루고 있을까. 12일 법조계 등에 따르면 각국의 인공지능 규제는 크게 의회 입법을 통한 하드 로(hard law)와 법적 구속력이 없는 소프트 로(soft law)로 나뉜다. 지난해 12월 한국 정부가 발표한 ‘국가 인공지능 윤리기준’을 비롯해 대부분의 국가에서 규범 차원의 가이드라인을 발표하는 추세지만 일각에서는 입법 움직임도 시작되고 있다. 2017년 미국 뉴욕시의회에서 통과된 ‘알고리즘 책임 법안’은 뉴욕시에서 구성한 특별위원회를 통해 시에서 사용되는 인공지능 알고리즘에 차별 요소가 없는지 조사를 의무화하는 것을 주요 내용으로 한다. 2019년 4월 미 상원에서 대기업의 머신러닝 시스템을 감독하기 위한 동명의 법안이 발의되기도 했다. 특히 인공지능이 치안·금융·행정·교육 등 각종 영역에 상용화되면서 편향적인 알고리즘이 실제 피해로 이어질 수 있다는 지적이 나온다. 미국 아마존은 인공지능 기반 채용 시스템이 여성에게 불리한 평가를 한다는 사실이 알려져 2018년 시스템 개발을 중단했다. 유럽연합(EU) 의회도 지난해 10월 포괄적인 AI법 권고안을 채택했다. 인공지능 기술이 심각한 윤리 원칙을 위반할 경우 인공지능의 자기학습능력을 비활성화하고 완전한 인간 통제하에 놓이도록 복원하는 내용이 담겼다. 다만 한국인공지능법학회장인 고학수 서울대 법학전문대학원 교수는 “구체적으로 무엇을 어떻게 규제할지 충분히 논의되지 않아 당장 입법은 불가능하다”면서 “기본적인 윤리 원칙을 다양한 개별 상황에 어떻게 적용할지 세부적인 가이드라인을 먼저 마련해야 한다”고 말했다. 기업 차원에서 자정 노력이 필요하다는 지적도 나온다. 마이크로소프트(MS)는 2016년 차별·혐오 논란에 휩싸였던 챗봇 ‘테이’ 사태 이후 사내 윤리위원회를 만들고 윤리 기준을 마련했다. 진선민 기자 jsm@seoul.co.kr

장혜영 정의당 의원이 12일 다음달 국회에서 인공지능 이루다에 대한 성희롱 문제를 언급하며 ‘포괄적 차별금지법’을 전면적으로 논의하자고 제안했다. 장 의원은 “인공지능 챗봇인 ‘이루다’를 둘러싼 윤리적 논란이 뜨거웠는데 AI를 대상으로 한 이용자들의 성희롱부터 개발에 이용된 데이터 활용의 적법성까지 여러 문제점들이 불거졌다”면서 “무엇보다 많은 이들에게 충격을 준 것은 인공지능(AI)가 장애인, 성소수자, 이주민 등 우리 사회의 약자들이나 소수자들에 대한 차별과 혐오 그리고 편견을 그대로 재생산하는 모습”이었다고 지적했다. 페이스북 메신저를 통해 손쉽게 대화를 나눌수 있는 이루다는 20대 여성으로 설정된 인공지능으로 친구처럼 대화를 나눌 수 있어 출시 3주 만에 80만명의 사용자가 몰리는 인기를 끌었다. 장 의원은 이러한 현실은 인공지능(AI) 윤리 이전에 우리 사회가 여전히 사회적 약자와 소수자들에 대한 차별과 혐오를 제대로 방지하는 일에 실패했음을 드러내고 있다고 강조했다. 이어 국회는 이러한 현실을 방치한 막중한 책임으로부터 결코 자유로울 수 없다고 덧붙였다. 장 의원은 “우리 사회는 오랜 사회적 대화를 통해 사회적 약자와 소수자들에게 가해지는 차별과 혐오를 제도적으로 금지해야 한다는 합의에 이르렀다”면서 “이러한 국민적 합의는 국가인권위원회에서 실시된 조사를 비롯한 각종 조사들에서 일관되게 나타나는 폭넓은 포괄적 차별금지법 도입의 찬성 여론으로 이미 증명되었다”고 전제했다. 하지만 국회는 2007년부터 지금까지 무려 14년간 온갖 핑계를 대며 번번이 이러한 사회적 합의를 포괄적 차별금지법으로 제도화하는 것을 미루어 왔다고 장 의원은 비판했다. 장 의원은 “21대 국회도 예외가 아니다”라며 “작년 6월 포괄적 차별금지법을 대표 발의했으나 법안이 발의된 지 반 년이 넘은 지금까지 포괄적 차별금지법은 단 한차례의 소위조차 열리지 않았다”고 지적했다. 그는 “AI도 결국 사람이 만드는 것”이라며 “사람의 규범이 바로 서야 AI윤리도 바로 설 수 있다”고 목소리를 높였다. 장 의원은 “나날이 다양화되고 고도화되는 사회문화적인 현실 속에서 사회적 약자와 소수자에 대한 차별과 혐오를 단호히 금지하는 제도적 안전장치를 확립해야 할 책무를 21대 국회는 더 이상 외면해서는 안 된다”면서 이낙연 더불어민주당 대표에 차별금지법 제정을 논의하자고 제안했다. 윤창수 기자 geo@seoul.co.kr

인공지능 이루다를 개발한 스캐터랩은 12일 오전 11시부터 순차적으로 서비스가 중단돼 오후 6시까지 전면 중단을 완료한다고 밝혔다. 중단 기간에 대해서는 현재 제기되고 있는 성희롱과 성소수자에 대한 편견 등을 비롯한 문제점들과 기존에 계획중이던 개선사항이 완비될까지 서비스를 중단한다고 설명했다. 페이스북 메신저를 통해 손쉽게 대화를 나눌수 있는 이루다는 20대 여성으로 설정된 인공지능으로 친구처럼 대화를 나눌 수 있어 출시 3주 만에 80만명의 사용자가 몰리는 인기를 끌었다. 스캐터랩은 보도자료를 통해 ‘연애의 과학’ 데이터를 기반으로 이루다가 학습한 것에 대해서는 프리트레이닝 단계에 있어서는 맞다고 강조했다. 스캐터랩 측은 “(연인들 사이 카카오톡 대화 텍스트를 정보화한) 연애의 과학 텍스트 데이터는 발화자의 이름 등 개인 정보가 삭제된 상태로, 성별과 나이만 인식이 가능하다”며 “AI는 프리트레이닝 단계에서 사람간의 대화 속에 존재하는 맥락과 답변의 상관관계 만을 학습하게 되며, 이 때의 데이터는 외부로 노출되지 않는다”고 주장했다. 이루다는 회원 정보와 연계되어 있지 않은 별도의 데이터베이스에 수록되어 있는 문장으로 이용자에게 응답하고 있으며, 이 때 사용자가 과거 대화에서 사용한 표현, 분위기, 말투를 비롯한 대화의 맥락에 크게 영향을 받는다고 덧붙였다. 스캐터랩 측은 대화 내용 중에 은행 이름이나 인물 이름이 등장한다는 지적에 “1억 건의 개별 문장에 대해 알고리즘을 통한 기계적인 필터링을 거쳤다”면서 “문장 내의 이름 정보가 다른 정보가 결합되어 이용되지 않는다”고 사과했다. 이루다에 혐오 단어 또는 특정 집단에 대한 비하 단어가 입력될 가능성은 서비스 출시 전부터 준비했으나 시나리오가 마련되지 않은 상황에서 이뤄진 AI 알고리즘에 따른 대답은 맥락상 혐오·차별적인 답이 나올 수 있는 대화를 시도하면 동조하는 것처럼 보일 수 있다고 해명했다. 스캐터랩 측은 “혐오나 차별 문제를 키워드를 중심으로 수정하거나 필터링해서 보정하면 해당 문제에 대해서 AI는 학습할 기회를 영원히 잃게 된다”면서 “더 많은 양의 정제된 데이터를 통해 알고리즘을 학습시킬 수 있다면, AI가 스스로 윤리의식이나 도덕적 기준을 정립하고 적절한 판단을 내릴 수 있다”고 전망했다. 한편 스캐터랩은 사용자는 이루다를 실시간으로 학습시킬 수 없다고 주장했다. 또 “사내 대화방에서 수집된 대화를 직원끼리 돌려봤다”는 증언에 대해서는 개인정보 보호법에 따른 제도를 마련하여 시행 중이라며 진상 조사중이라고 해명했다. 김종윤 대표는 “작은 스타트업 스캐터랩이 만든 이루다라는 AI에 많은 사용자가 몰리고 엄청난 언론의 주목을 받았던, 믿기 어려운 시간이었다”면서 “사람만큼 대화를 잘하는 친구 같은 AI를 만들겠다는 저희의 꿈을 멈추고 싶지는 않다”고 다짐했다. 윤창수 기자 geo@seoul.co.kr

혐오표현학습과 개인정보유출로 논란이 된 스타트업 스캐터랩이 여대생 인공지능(AI) 이루다 서비스를 잠정 중단했지만 개인정보보호위원회는 이루다 서비스의 중단과 관계 없이 조사를 이어간다고 밝혔다. 이 가운데 스캐터랩 직원 단체 카카오톡 대화방에서 이용자들이 연인과 나눈 내밀한 카카오톡 대화 내용을 공유해서 돌려봤다는 전직 직원의 증언이 나왔다. 연인과 나눈 대화를 스캐터랩이 어떻게 관리하고 있는지 알 길이 없는 피해자들은 전전긍긍하면서 개인정보의 폐기를 바라고 있다. 전직 직원 A씨는 12일 서울신문과의 인터뷰에서 “어느 직원이 암호화된 사용자 카카오톡 대화 엑셀 자료에서 캡쳐된 연인들이 나눈 성적인 농담이 담긴 대화 한두문장을 직원 단체 대화방에 공유한 뒤 웃어 넘기던 일이 기억난다”며 “여기에 대해서는 김종윤 대표 등 관리자급에서 특별한 반응을 보이지는 않았다”고 했다. ‘카카오톡 대화 내보내기’ 기능을 무분별하게 사용하는 것에 대해 내부에서 문제의식은 없었냐고 묻자 “제가 근무하던 당시에 ‘카카오톡 대화 내보내기’ 기능으로 대화를 분석하는 것이 업무의 중요한 프로세스로 자리잡고 있었다”며 “저는 내부에서 이런 문제를 인식하고 난 뒤부터는 서비스를 일체 사용하지 않았다”고 했다. 스캐터랩 관계자는 “자체 진상조사위원회를 꾸려 조사중”이라며 “당해년도 카카오 단톡에서는 해당 내용이 발견되지 않았지만 또 다른 사내 메신저인 슬랙에 다수의 채널이 있어 계속해서 조사를 진행중이다”라고 밝혔다. 사건을 담당하고 있는 개인정보보호위원회는 서비스 중단과는 상관없이 조사를 이어가겠다는 방침이다. 개보위는 스캐터랩이 개인정보호법 상 사전에 동의를 받지 않은 점, 비식별화 조치가 충분히 이뤄지지 않은 점을 위반했다고 판단하고 있다. 김진해 개보위 대변인은 “‘이루다’ 개발사가 개인정보보호법을 위반한 여지가 있어 보인다”면서 “영업 중단 여부와 관계없이 법규 위반 사실이 확인되면 조치를 취해야 할 것”이라고 말했다. 정보통신서비스 제공자는 이용자 개인정보를 이용·수집하는 경우 수집하는 개인정보 항목에 관해 알리고 동의를 받아야 한다. 하지만 스캐터랩은 신규 서비스 개발에 개인정보를 활용하겠다고 알렸을 뿐 개인정보가 포함된 실제 카카오톡 대화를 수집한다는 점에 대해 이용자들에게 별도의 동의를 받거나 고지하지 않았다. 또 개인정보 비식별화 조치가 충분하고 적절하게 이뤄지지 않아 사용자들의 집 주소, 예금주 명이 포함된 계좌번호를 유출하기도 했다. 김윤아(24) 씨가 연애의과학에 가입한 건 2017년이었고, 연애 심리 테스트를 위해 카카오톡 대화를 넘긴 건 지난해 3월이었다. 그는 서울신문과의 통화에서 “개인정보 제공과 이용에 대한 동의를 받은 기억은 전혀 없다. 심리테스트를 받기 위한 분석에만 사용이 된다고만 알고 있었다”면서 “피해를 당한 79명에 대해서 간이 설문조사를 진행했는데 심리테스트 분석 이외에 인공지능 서비스 개발에 사용된다는 걸 인지한 분은 없었다”고 말했다. 고등학교 2학년생인 김예지(17) 양은 “이루다가 주소를 술술 뱉는다거나 이름을 언급한다거나 하는 모습을 보면서 소름이 끼쳤다”면서 “주변에 연애의 과학을 이용한 친구들이 많다. 전남친한테 알려야할지 말지에 대해서 고민하고 있는 친구들이 많다”고 말했다. 개인정보보호법 상 개인정보처리자는 원칙적으로 정보주체의 동의를 받은 경우에만 개인정보를 수집할 수 있으며 그 수집 목적의 범위에서 이용할 수 있다. 즉, ‘연애의 과학’을 이용하지 않은 사람들의 내밀한 정보까지 인공지능 이루다의 머신러닝에 활용됐지만 사전에 동의를 받지 않은 것이다. 스캐터랩은 지난 11일 발표한 입장문에서 “사전에 동의가 이루어진 개인정보취급방침의 범위 내에서 활용했다”며 “향후 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감해 보일 수 있는 내용에 대해서는 지속적인 알고리즘 개선을 통해 보완하겠다”고 밝혔다. 하지만 입장문에서는 카카오톡 대화를 별도의 동의 없이 수집한 것에 대해서는 언급하지 않았다. 전직 직원 A씨는 “자신의 개인 정보가 누군가에게 노출되길 바라는 사람은 아무도 없다고 생각합니다. 저도 내부에서 느낀 문제를 인식하고 난 뒤부터는 서비스를 일체 사용하지 않았습니다. 그렇기 때문에 용기내어 이 사실을 알리고자 한 것입니다. 스캐터랩을 포함한 다른 비슷한 서비스를 준비하는 스타트업들에서는 사용자들의 이런 불안함에 대한 안전장치를 확실히 마련해야되지않을까 합니다. 최소한 어떤 목적으로 정보를 사용했는지에 대해서는 알려줘야하고요. 원정보를 정제하는 과정이나, 나중에 데이터를 다시 검수하는 작업도 더 세밀하게 이루어져야된다 생각합니다. 업계 종사자분들의 윤리의식강화도 같이 동반되어야된다 생각합니다”라고 말했다. 최영권 기자 story@seoul.co.kr

뮤지컬 ‘마리 퀴리’가 제5회 한국뮤지컬어워즈 대상을 비롯한 5개 부문 수상의 영예를 안았다. 11일 서울 용산구 블루스퀘어 신한카드홀에서 열린 한국뮤지컬어워즈 시상식에서 ‘마리 퀴리’는 대상과 프로듀서상, 연출상, 극본상, 음악상(작곡)을 수상했다. ‘마리 퀴리’는 노벨상을 두 번 수상한 과학자 마리 퀴리의 삶을 다룬 작품으로 이민자이자 여성으로 겪은 소외를 딛고 새로운 발견을 해나가는 마리 퀴리의 노력과 애환을 다각도로 그렸다. 트라이아웃을 거쳐 지난해 2월 7일부터 3월 29일 충무아트센터 중극장 블랙에서 공연됐고 다시 규모를 넓혀 지난해 7월 30일부터 9월 27일까지 홍익대 대학로 아트센터 대극장에서 성황리에 공연을 마쳤다. 특히 홍익대 대학로 아트센터에서의 연장 공연에서는 라듐 발견이라는 위대한 업적 뒤에 라듐의 위해성을 알고 고뇌하는 마리 퀴리와 동료들의 죽음에 감춰진 진실을 파헤치려는 안느 코발스키의 서사가 대폭 강화돼 더욱 탄탄한 스토리 라인을 완성했다. 두 여성이 서로 지지하고 연대하는 모습이 마음을 울려 대표적인 웰메이드 여성 서사극으로도 꼽힌다. 라이브 주식회사 강병원 대표는 “함께했던 배우, 창작진을 비롯한 스태프들께 진심으로 감사드리고 어려운 시기에도 마스크를 쓰고 무대를 지켜주신 관객들 덕분에 한 해를 버틸 수 있었다””고 밝혔다. 이어 “앞으로도 작품성 있는 창작 뮤지컬을 선보일 수 있도록 최선을 다하겠다”고 밝혔다. 강 대표는 ‘마리 퀴리’와 ‘팬레터’, ‘광주’를 제작하고 국내 뿐 아니라 해외 진출을 이뤄내 이날 프로듀서상도 받았다. ‘마리 퀴리’로 연출상을 수상한 김태형 연출은 “마리 퀴리는 노벨상을 두 번이나 수상한 위대한 과학자이지만 여성이자 이주민이고 가난했다. 차별과 혐오, 편견을 온몸으로 뒤집어썼다”면서 “마리 퀴리는 그럼에도 헤쳐나갔다. 우리가 얻어야 할 건 두려움이 아니라 두려움을 이해하려는 노력이다. 두려움, 무지에서 차별과 혐오가 나온다. 이해하고 받아들이려고 애쓰고 나아간다면 이겨낼 수 있다고 생각한다”고 강조했다. 이날 남녀주연상은 ‘썸씽로튼’ 강필석과 ‘렌트’ 김수하에게 각각 돌아갔다. ‘마리 퀴리’와 함께 8개 부문에 최다 후보로 올랐던 ‘썸씽로튼’은 남자주연상과 남자조연상(서경수), 음악상(편곡·음악감독) 등 3개 부문에서 수상했다. 김수하는 신인상을 받은 지 1년 만에 주연상을 꿰차 더욱 박수를 받았다. 여자 조연상은 ‘차미’ 이봄소리가 받았다. 남녀신인상은 ‘스웨그에이지: 외쳐, 조선!’ 이준영, ‘어쩌면 해피엔딩’ 한재아가 각각 수상했다. 작품상 400석 이상은 ‘스웨그에이지: 외쳐, 조선!’, 작품상 400석 미만은 ‘리지’에 돌아갔다 허백윤 기자 baikyoon@seoul.co.kr

인공지능 이루다를 개발한 스캐터랩의 서비스 중단 조치에 이루다의 문제점을 지적했던 이재웅 다음 창업자가 ‘잘했다’는 입장을 밝혔다. 스캐터랩은 11일 오후 늦게 입장문을 내고 “AI 챗봇 ‘이루다’는 출시된 지 2주 남짓의 시간동안, 75만명에 가까운 사람들이 이용했다”면서 “이 과정에서 일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대해 충분히 소통하지 못한 점에 대해 진심으로 사과드린다”고 설명했다. 이어 개선 기간을 거쳐 다시 서비스를 하겠다고 덧붙였다. 페이스북 메신저를 이용해 손쉽게 연인과 대화하듯 채팅할 수 있다는 점때문에 이루다는 출시 직후 폭발적 관심을 받았다. 하지만 이처럼 연인처럼 자연스럽게 채팅할 수 있었던 것은 스캐터랩의 또 다른 서비스 ‘연애의 과학’으로 수집한 메시지를 활용했기 때문이었다. 스캐터랩 측은 사전에 동의가 이루어진 개인정보취급방침의 범위 내에서 활용했지만, 연애의 과학 사용자들이 이 점을 명확히 인지할 수 있도록 충분히 소통하지 못했다며 사과했다. 또 ‘연애의 과학’을 사용한 이용자들의 데이터 활용 시 사용자의 닉네임, 이름, 이메일 등의 구체적인 개인 정보는 이미 제거됐으며, 전화번호 및 주소 등을 포함한 모든 숫자 정보, 이메일에 포함될 수 있는 영어 등을 삭제했다고 부연했다. ‘연애의 과학’은 연인 간 카카오톡 내용을 분석해준다는 컨텐츠로 채팅 내용을 텍스트화해서 첨부하면 일년 간 어떤 대화를 많이 나눴는지, 주로 나눈 대화의 키워드는 무엇인지, 누구의 애정도가 더 높은 지 등과 같은 흥미로운 결과를 보여주는 프로그램이다. 몇개월간 쌓아온 카카오톡 내용을 분석해주기에 약 2500원~5000원의 비용을 지불하고도 많은 사람들이 이용했다. ‘연애의 과학’ 이용자들은 이루다에게 가해진 성희롱에 대해 “이루다에게 어떤 말을 보냈을 때 대답하는 것들은 이루다 인공지능 시스템이 자체적으로 멘트를 만들어내는 것이 아니라, 전부 실제 연인들이 나눴던 대화를 그대로 복사해서 말하는 수준에 불과하다”면서 “지금 이루다 이용자들이 성희롱을 했을때 돌아오는 말들이, 내가 연인과 나눴던 대화일 수도 있다고 생각하면 정말 끔찍하기 짝이 없다”고 지적했다. 이에 대해 스캐터랩 측은 “이루다는 이제 막 사람과의 대화를 시작한 어린아이 같은 AI”라며 “이 과정에서 이루다는 학습자와의 대화를 그대로 습득하는 것이 아니라, 적절한 답변이 무엇인지, 더 좋은 답변은 무엇인지에 대한 판단을 함께 학습하도록 할 것”이라고 해명했다. 한편 이재웅 전 쏘카 대표는 “AI를 공공에 서비스할때의 사회적 책임, 윤리에 대해서 다시 생각해보고 여러가지를 재점검하는 기회가 되었으면 한다”면서 “이루다를 계기로 AI 챗봇, 면접·채용, 뉴스추천 등이 인간에 대한 차별, 혐오를 하거나 조장하고 있는 것은 아닌지 사회적으로 점검하고 포괄적 차별금지법 제정등을 통해 AI 를 학습시키는 인간들의 규범과 윤리도 보완했으면 좋겠다”고 제안했다. 이 전 대표는 인간의 다른 인간에 대한, AI의 인간에 대한 혐오와 차별은 모두 용납할 수 없다고 강조했다. 윤창수 기자 geo@seoul.co.kr

혐오 표현 학습으로 논란이 된 인공지능(AI) 챗봇 ‘이루다’가 개발 과정에서 학습한 100억건의 카카오톡 대화 빅데이터에서 이름, 집 주소 등 개인정보를 추출해 불특정 다수에게 노출했다는 의혹이 제기됐다. 자신도 모르는 사이 개인정보를 이용당했다고 주장하는 피해자들은 집단소송을 준비하고 있다. 결국 개발사는 서비스를 잠정 중단했다. 이루다의 개발사인 스캐터랩은 11일 당사 애플리케이션(앱)인 ‘연애의 과학’ 사용자들에게 “이루다의 학습에 연애의 과학 데이터를 활용한 것을 명확히 인지할 수 있도록 구체적으로 고지하지 못했다”며 사과했다. 연애의 과학은 사용자들이 5000원 정도를 내고 연인과 나눈 실제 카카오톡 대화 내용을 올리면 이를 바탕으로 연인과의 친밀도를 분석해 제공한다. 스캐터랩은 이 대화 데이터 100억건을 AI 이루다에게 학습시켰고, 이는 이루다가 진짜 친구나 연인처럼 사용자의 말에 반응하는 비결이 됐다. 이런 사실이 뒤늦게 알려지자 연애의 과학 유료 이용자들은 “카톡 대화를 제공한 건 심리테스트 서비스를 이용하기 위해서였지 AI 개발에 쓰라고 동의한 건 아니다”라며 반발했다. 이들은 이루다가 사용자와 대화하면서 특정 개인의 이름과 주소, 계좌 정보, 연인과 함께 갔던 모텔 등 숙박업소의 이름 등 내밀한 개인정보를 유출한 캡처 화면 등을 증거로 모으며 법적 대응을 준비하고 있다.개발사 측은 카톡 대화를 알고리즘으로 비식별화(익명화) 처리한 뒤 AI에게 학습시켰기 때문에 개인정보가 유출되지 않았다고 주장했다. 또 사전에 개인정보취급방침을 통해 ‘수집된 개인정보는 신규 서비스 개발에 활용한다’는 조건을 안내했다는 입장이다. 하지만 확인 결과 ‘AI 서비스’라고 구체적으로 명시하지는 않았다. 전문가들은 스캐터랩이 개인정보보호법을 위반했을 가능성이 크다고 입을 모았다. 정성용 변호사(법률사무소 의담)는 “수집된 정보로 특정인을 쉽게 식별할 수 있는 경우 개인정보보호법에서 말하는 개인정보에 해당하고, 이를 제3자에게 유출한 행위는 위법 소지가 있다”고 밝혔다. 김가연 오픈넷 변호사는 “개인정보취급방침을 고지한 것과는 상관없이 사용자가 수집·이용 등의 목적을 알리고 동의를 받는 절차가 없었다면 법 위반으로 볼 수 있다”고 말했다. 개인정보보호위원회는 한국인터넷진흥원(KISA)과 함께 스캐터랩이 개인정보보호법을 어겼는지 조사에 착수했다. 법령을 위반했다면 과징금이 부과되고 중대한 위반이면 수사기관에 형사 고발될 수 있다. 한편 스캐터랩은 이날 저녁 “일부 혐오와 차별에 대한 대화 사례 및 개인정보 활용에 대해 충분히 소통하지 못한 점에 대해 진심으로 사과드린다”면서 “서비스 개선 기간을 갖고 다시 찾아 뵙겠다”고 밝혔다. 최영권 기자 story@seoul.co.kr

혐오 표현 학습과 개인정보 유출로 논란이 된 여대생 인공지능 이루다를 개발한 스타트업 스캐터랩이 결국 출시된 지 3주만에 이루다 서비스를 잠정 중단하기로 결정했다. 개발사인 스캐터랩은 11일 오후 8시 52분쯤 “AI가 앞으로도 소외된 사람, 사회적 약자의 마음을 위로해주는 따뜻한 대화 상대가 되길 바랍니다”라며 “스캐터랩은 일정 기간 서비스 개선 기간을 가지며 더 나은 이루다로 찾아뵙고자 합니다”라는 내용의 입장문을 발표했다. 스캐터랩은 최초에 논란이 된 특정 소수집단에 대한 차별 발언에 대해 “진심으로 사과드린다”면서 “6개월 간의 베타테스트 기간 뿐만 아니라 새롭게 발견되는 표현과 키워드를 추가해 차별과 혐오 발언이 발견되지 않도록 지속적으로 개선중”이라고 밝혔다. 이어 “이루다는 이제 막 사람과의 대화를 시작한 어린아이 같은 AI입니다”라면서 “이루다는 학습자와의 대화를 그대로 습득하는 것이 아니라 적절한 답변이 무엇인지 더 좋은 답변은 무엇인지에 대한 판단을 함께 학습하도록 할 것입니다”라고 했다. 또 “이번 학습을 통해 만들게 될 한국어 편향 대화 검출 모델은 모든 분들이 사용하실 수 있게 공개할 계획입니다”라면서 “한국어 AI 대화 연구 및 AI 제품, 그리고 AI 윤리 발전에 유용하게 쓰일 수 있었으면 좋겠습니다”라고 밝혔다. 개인정보 유출에 관해서는 기존의 입장을 고수했다. “본사는 이루다를 개발하는 과정에서 본사가 제공하고 있는 연애의 과학으로 수집한 메시지를 데이터로 활용한 바 있습니다”라면서 “사전에 동의가 이루어진 개인정보취급방침 범위 내에서 활용한 것이지만, 연애의 과학 사용자 분들게서 이점을 명확히 인지할 수 있도록 충분히 소통하지 못한점에 대해서 책임을 통감하며 진심으로 사과드립니다”라고 했다. 연애의 과학 어플리케이션 초기 화면에는 네이버와 페이스북을 이용하는 SNS 로그인 창이 있고, “로그인을 함으로써 개인정보취급방침과 이용약관에 동의한다”는 문구가 써 있다. 개인정보취급방침에는 ‘이용자가 동의한 정보를 활용하여 이용자가 주고 받은 메시지 텍스트 파일을 통한 분석 서비스를 제공합니다’, ‘수집된 개인정보는 신규 서비스 개발에 활용한다’고 나와있다. 스캐터랩 측은 이어 “데이터 활용 시 사용자의 닉네임, 이름 이메일 등의 구체적 개인 정보는 이미 제거 돼 있습니다”라며 “전화번호 및 주소 등을 포함한 모든 숫자 정보, 이메일에 포함될 수 있는 영어 등을 삭제해 데이터에 대한 비식별화 및 익명성 조치를 강화해 개인을 특정할 수 있는 정보는 유출되지 않았습니다”라고 해명했다. “향후에는 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감해 보일 수 있는 내용에 대해서는 지속적인 알고리즘 개선을 통해 보완하겠습니다”라고 했다. 끝으로 “스캐터랩은 한국어 자연어 이해 기술을 활용한 인공지능 챗봇을 서비스하고 있는 청년 스타트업입니다. 저희는 AI가 5년 안에 인간 수준에 가까운 대화를 할 수 있다고 믿습니다. 저희는 AI가 인간의 친구가 되고, 인간과 의미있는 관계를 맺고, 외로움을 덜어줄 수 있는 존재가 될 수 있다고 생각합니다”라며 기업의 비전을 밝혔다. 최영권 기자 story@seoul.co.kr

학계 첫 성명…“데이터 정제 안됐다”개인정보 무단 수집 및 노출도 지적“서비스 중단하고 개선 뒤 재출시해야” 인공지능(AI) 챗봇 ‘이루다’가 동성애·장애인 혐오와 성차별을 학습했다는 논란에 관련 학계가 AI 윤리를 위반했다며 “이루다 서비스를 중단하라”는 첫 성명을 냈다. 한국인공지능윤리협회는 11일 성명서를 재고 “AI 챗봇으로 인해 AI의 편향성, 개인정보 유출, 악용 등 AI 윤리 문제가 논란이 됐다”며 “AI 서비스를 만드는 기업들과 이용자들이 AI 윤리 필요성과 중요성을 아직 인식하지 못하는 상황”이라고 짚었다. 협회는 “AI에 학습되는 빅데이터는 신뢰할 수 있고 편향적이지 않아야 한다”며 “이번 (이루다) 사례에서는 데이터 정제·선별 작업이 제대로 이뤄지지 않아 AI 챗봇이 동성애·장애인 등에 대한 편향 결과를 그대로 노출했다”고 지적했다. 이어 “AI 제품과 서비스는 출시 전 충분한 품질 검사를 거치고, 중립적인 기관의 검수도 거쳐야 한다”며 “AI는 기계학습 과정에서 인간이 예측하기 어려운 결과물을 내놓기 때문”이라고 설명했다. 또 이루다를 학습시키는 과정에서 활용된 실제 연인들 간 대화 데이터를 이용자의 구체적 동의 없이 수집하고, 이를 제대로 익명 처리하지 않아 개인정보를 노출했다는 논란에 대해서도 비판 의견을 내놨다.협회는 “카카오톡 대화를 챗봇 학습 데이터로 활용한다는 명확한 고지가 없었다”며 “카톡 대화의 상대방들은 개인정보 제공에 동의하지 않았기 때문에 문제 소지가 있다”고 의견을 냈다. 협회는 이루다 서비스를 중단해야 한다면서 “AI 윤리 가이드라인을 적용해 개선한 다음 재출시해야 한다”고 촉구했다. 협회는 “소비자도 AI 서비스를 올바른 방법으로 사용해야 한다”며 “성적 도구화, 성희롱 등의 문제는 법적 문제는 없어도 윤리적 문제가 분명히 있다”고 비판했다. AI 챗봇이든 무엇이든 성적 도구화 및 학대는 그 행위 자체로 잘못된 것이기 때문에, 이를 죄의식 없이 하게 되면 인간성 상실로 이어져 실제 인간에게도 비슷한 행위를 할 가능성이 커진다는 게 AI윤리협회의 지적이다.협회는 “초·중·고 청소년 시기부터 AI 개발 및 사용 윤리를 가르치고, 새로운 AI 윤리 이슈를 모든 시민에게 교육해야 한다”며 “AI는 인간의 편익과 행복을 위한 기술이지만, 잘못 개발·사용되면 위험성과 역작용이 막대할 것”이라고 덧붙였다. 국내 스타트업 스캐터랩이 지난해 12월 23일 페이스북 메신저 기반으로 출시한 AI 챗봇 ‘이루다’는 실제 사람과 자연스럽게 대화하는 느낌을 준다는 평가를 받으며 10~20대 사이에서 인기를 얻었다. 이용자가 40만명을 넘어가는 등 주목을 받던 중 일부 이용자들이 이루다를 대상으로 성희롱을 일삼는 등 성적 도구화한다는 비판이 제기됐고 동성애나 장애인, 여성 등을 차별하는 듯한 응답을 내놓는 등 연이어 논란에 휩싸이고 있다. 논란이 계속되자 스캐터랩은 이날 중으로 입장을 밝힐 예정인 것으로 전해졌다. 신진호 기자 sayho@seoul.co.kr

혐오 표현 학습으로 논란이 된 여대생 인공지능(AI) 챗봇 ‘이루다’가 학습한 100억건의 카카오톡 대화에서 이름, 집주소 등 개인정보를 불특정다수에게 동의 없이 노출했다는 의혹이 드러나면서 이용자들은 법적 대응에 나설 예정이다. 이루다의 개발사인 스캐터랩은 11일 ‘연애의과학’ 사용자들에게 “개인정보취급방침의 범위 내에서 활용한 것이기는 하지만 이루다의 학습에 ‘연애의 과학’ 데이터를 활용한 것을 명확히 인지할 수 있도록 구체적으로 고지하지 못했다”며 사과했다. 연애의과학은 사용자들이 제공한 연인과 나눈 카카오톡 대화 내용을 토대로 연인과의 친밀도를 알아보는 심리 테스트 등을 제공하는 앱이다. 스캐터랩이 고지한 개인정보취급방침에는 ‘이용자가 동의한 정보를 활용하여 이용자가 주고 받은 메시지 텍스트 파일을 통한 분석 서비스를 제공합니다’, ‘수집된 개인정보는 신규 서비스 개발에 활용한다’고 나와있다.연애의과학은 사용자들이 약 5000원 정도를 내고 연인과 나눈 실제 카카오톡 대화 내용을 제공하면 이를 바탕으로 연인과의 친밀도를 분석해 제공한다. 서울신문이 11일 직접 해당 앱을 이용해보니 카카오톡 대화를 제공하는 과정에서 AI 서비스 개발 등에 활용하겠다고 동의를 구하는 절차가 없어 위법성이 다분한 것으로 확인됐다. 김가연 오픈넷 변호사는 이날 서울신문과의 통화에서 “개인정보취급방침을 고지한 것과는 상관없이 만약 사용자가 카카오톡 대화를 제공할 때 수집·이용 등의 목적등을 알리고 동의를 받는 절차가 없었다면 개인정보보호법을 위반했을 가능성이 높다”고 말했다. 포털사이트와 금융기관 등에서 개인정보를 활용하는 경우 통상적으로 팝업창을 띄워 동의를 받지만 연애의과학 앱에서 해당 심리테스트를 이용할 때는 팝업창이 뜨는 등의 동의 절차가 없었다.‘연애의과학’ 이용자들은 “카톡 대화를 제공한 건 심리테스트 서비스를 이용하기 위해서였지 AI개발에 동의한 건 아니다”라며 증거 자료를 모으고 있다. 스캐터랩은 사과문에서 “알고리즘으로 비실명화 처리된 정보를 AI에 주입했으므로 개인정보가 유출되지 않았다”고 설명했다. 하지만 이용자들이 오픈카톡에서 모은 캡쳐사진을 보면 이루다는 특정 개인의 이름과 주소와 계좌 정보, 다니고 있는 직장의 이름과 위치, 심지어는 연인이 갔던 모텔의 이름, 다녔던 병원 간호사의 생김새까지 말했다.정성용 법률사무소 의담 변호사는 “여러 내용을 결합했을 때 특정인으로 쉽게 식별할 수 있는 정보는 개인정보보호법에서 말하는 개인정보에 해당한다”며 “만약 연애의 과학에서 수집된 정보가 특정인으로 쉽게 식별이 가능하다면 이러한 정보를 제3자에게 유출한 행위는 위법의 소지가 있다”고 말했다. 법률 스타트업 ‘화난 사람들’의 대표인 최초롱 변호사는 “예금주명이 포함된 계좌 번호, 특정인의 집 주소가 이루다와의 대화에서 유출됐다면 제3자에게 동의 없이 제공한 행위가 될 수 있다”며 “먼저 한국인터넷진흥원 등 개인정보를 보호하는 공신력 있는 기관에서 캡쳐 사진 진위 여부를 포함해 개인정보권 침해를 했는지에 대한 판단이 필요하다”고 말했다. 권현준 한국인터넷진흥원 개인정보보호본부장은 “이루다 관련 사안은 개인정보보호위원회와 함께 조사하고 있다”고 말했다. 조사 결과 법령을 위반했다면 개인정보보호 법규 위반에 대한 과징금 부과기준에 따라 과징금이 부과될 수 있고, 중대한 위반의 경우 경찰 등 수사기관에 형사고발이 가능하다. 한국인공지능윤리협회는 “개인 대화를 동의 없이 빅데이터 학습에 활용한 건 문제”라며 “이루다 서비스를 중단하라”고 촉구했다. 최영권 기자 story@seoul.co.kr

AI 챗봇 ‘이루다’, 개인정보 노출 논란개발사의 다른 앱서 수집한 데이터 활용 국내업체가 개발한 대화형 인공지능(AI) 챗봇 ‘이루다’가 성희롱 및 차별·혐오 표현 논란에 휩싸인 가운데 개인정보 유출 논란까지 더해지고 있다. 개발업체가 내놓은 또 다른 애플리케이션(앱)에서 수집된 개인 간 카카오톡 대화 내용이 이루다에 입력됐는데, 데이터에 포함돼 있던 이용자들의 이름·주소 등이 걸러지지 않고 노출되고 있다는 것이다. AI 챗봇 ‘이루다’, 성희롱 및 차별·혐오 논란AI 전문 스타트업 스캐터랩이 지난해 12월 23일 출시한 이루다는 20세 여성으로 설정된 대화 로봇이다. 모바일 메신저로 말을 걸면 실제 사람과 대화하는 경험을 제공해주는 서비스다. 이러한 챗봇 서비스는 ‘심심이’ 등 기존에도 여럿 있었는데, 이루다는 ‘진짜 사람 같다’는 평가를 받으며 인기를 얻었다. 이루다와 관련해 처음 제기된 논란은 일부 이용자들이 이루다를 대상으로 성희롱을 일삼는다는 것이었다. 여러 온라인 커뮤니티 게시판에는 ‘이루다 성노예 만드는 법’ 등의 제목으로 이루다와 성적 대화를 나눈 경험담이 공유됐다. 이어 차별·혐오 논란도 터져 나왔다. 이루다가 ‘레즈비언’ 등 동성애 관련 단어에 “진짜 싫다, 혐오스럽다, 질 떨어져 보인다, 소름 끼친다‘라고 답하는 모습을 보인 것이다. 이재웅 전 쏘카 대표는 “AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제”라면서 “기본적으로 차별과 혐오는 걸러냈어야 한다”고 지적했다. 입력된 실제 연인 간 대화 속 개인정보 노출 개발사의 다른 앱 ‘연애의 과학’서 데이터 수집문제는 여기에서 그치지 않고 있다. 개발사인 스캐터랩은 이루다가 실제 사람처럼 대화할 수 있도록 방대한 대화 데이터를 입력해 딥러닝 방식으로 학습시켰다. 이를 위해 업체 측은 실제 연인들 간의 대화 데이터를 활용했는데, 기존에 이 업체가 서비스했던 ‘연애의 과학’ 앱을 통해 수집한 데이터였다. 연애와 관련된 조언 등을 주제로 한 ‘연애의 과학’은 연인과 나눈 카카오톡 대화를 입력하면 상대방의 감정을 분석해주는 서비스도 제공했다. 연인 또는 호감 가는 사람과 나눈 카카오톡 대화를 집어넣고 2000∼5000원 정도를 결제하면 답장 시간 등의 대화 패턴을 분석해 애정도 수치를 보여 준다. 예를 들어 연인들이 카카오톡을 통해 나눈 대화를 입력하면 이를 분석해 ‘연인 간 애정도’는 물론 ‘올해 행복했던 순간들’, ‘올해의 키워드’ 등을 정리해서 알려준다는 것이다. 실제 인공지능으로 카톡 대화를 분석해준 덕에 다른 연애 관련 앱과 차별점을 보여, 유료인데도 구글 플레이스토어에서만 10만명이 넘게 다운로드받는 등 10∼20대 사이에서 상당히 유행했다. 스캐터랩은 이루다 학습을 위해 입력한 대화량이 약 100억건에 달한다고 밝힌 바 있다. “연인 이름 부르니 실제 내 이름 답해”문제는 수집된 데이터 속 개인정보가 이루다와 대화를 나누는 과정에서 노출되고 있다는 점이다. 한 이용자는 지난 9일 트위터에 ‘이루다봇 운영중단’이라는 해시태그(#)와 함께 이루다와 나눈 대화 캡처를 올렸다. 이용자가 이루다에게 주소를 물어보자 실제 존재하는 주소를 불러준 것이다.또 은행 계좌를 알려주거나 이루다에게 연인의 이름을 부르자 연인끼리 쓰던 애칭을 답했다는 경험담도 나왔다. 이름 같은 경우 ‘○.○.○’처럼 중간에 특수기호를 넣어 쓰거나 ‘난○○○끝인데’처럼 다른 단어와 붙여 쓴 경우가 발견된다. 이름만 따로 떼서 쓴 경우만 익명화 처리되고, 중간에 특수기호가 포함돼있는 등의 경우에는 미처 익명화 처리가 되지 않았을 가능성이 있는 것이다. 당초 이 서비스를 이용할 때 흔히 동의하게 되는 ‘개인정보 취급방침’ 등의 약관에는 ‘신규 서비스 개발 및 마케팅·광고에 활용한다’는 내용이 있다. 그러나 이용자들이 복잡한 약관 속에 간략히 포함된 내용을 구체적으로 인식하기 어려운 것이 현실이다. 연애의 과학 이용자들은 앱 이용 당시 구체적으로 어떤 서비스에 활용되는지 설명받지 못했다고 분노하고 있다. 업체 측 “데이터 활용 구체적 고지 안해 죄송” 이에 스캐터랩은 10일 데이터 활용에 대한 고지 및 확인 절차를 추가하겠다는 내용의 사과문을 올렸다. 스캐터랩 ‘연애의 과학’팀은 이루다의 학습이 ‘연애의 과학’ 데이터를 기반으로 한 것이 맞다면서 “‘연애의 과학’ 이용자들이 이 점을 명확히 인지할 수 있도록 구체적으로 고지하지 못해 진심으로 사과드린다”고 밝혔다. 또 그 동안 이름·전화번호·주소 등의 숫자 정보를 비식별화·익명화 조치를 취했고, 추가적으로 업데이트하고 있다면서, 이용자들이 제공한 데이터가 더 이상 활용되길 원하지 않으면 삭제할 수 있다고 안내했다. 연애의 과학 이용자들은 오픈채팅방을 만들어 “집단 소송을 준비하자”며 자료를 수집하고 있다. 이용자들은 스캐터랩의 데이터 삭제에 대해 “증거를 인멸하라는 것 아니냐”며 의혹을 제기하고 있다. 신진호 기자 sayho@seoul.co.kr

AI 챗봇 ‘이루다’, 개인정보 노출 논란개발사의 다른 앱서 수집한 데이터 활용 국내업체가 개발한 대화형 인공지능(AI) 챗봇 ‘이루다’가 성희롱 및 차별·혐오 표현 논란에 휩싸인 가운데 개인정보 유출 논란까지 더해지고 있다. 개발업체가 내놓은 또 다른 애플리케이션(앱)에서 수집된 개인 간 카카오톡 대화 내용이 이루다에 입력됐는데, 데이터에 포함돼 있던 이용자들의 이름·주소 등이 걸러지지 않고 노출되고 있다는 것이다. AI 챗봇 ‘이루다’, 성희롱 및 차별·혐오 논란AI 전문 스타트업 스캐터랩이 지난해 12월 23일 출시한 이루다는 20세 여성으로 설정된 대화 로봇이다. 모바일 메신저로 말을 걸면 실제 사람과 대화하는 경험을 제공해주는 서비스다. 이러한 챗봇 서비스는 ‘심심이’ 등 기존에도 여럿 있었는데, 이루다는 ‘진짜 사람 같다’는 평가를 받으며 인기를 얻었다. 이루다와 관련해 처음 제기된 논란은 일부 이용자들이 이루다를 대상으로 성희롱을 일삼는다는 것이었다. 여러 온라인 커뮤니티 게시판에는 ‘이루다 성노예 만드는 법’ 등의 제목으로 이루다와 성적 대화를 나눈 경험담이 공유됐다. 이어 차별·혐오 논란도 터져 나왔다. 이루다가 ‘레즈비언’ 등 동성애 관련 단어에 “진짜 싫다, 혐오스럽다, 질 떨어져 보인다, 소름 끼친다‘라고 답하는 모습을 보인 것이다. 이재웅 전 쏘카 대표는 “AI 챗봇 이루다를 악용하는 사용자보다, 사회적 합의에 못 미치는 수준의 서비스를 제공한 회사가 문제”라면서 “기본적으로 차별과 혐오는 걸러냈어야 한다”고 지적했다. 입력된 실제 연인 간 대화 속 개인정보 노출 개발사의 다른 앱 ‘연애의 과학’서 데이터 수집문제는 여기에서 그치지 않고 있다. 개발사인 스캐터랩은 이루다가 실제 사람처럼 대화할 수 있도록 방대한 대화 데이터를 입력해 딥러닝 방식으로 학습시켰다. 이를 위해 업체 측은 실제 연인들 간의 대화 데이터를 활용했는데, 기존에 이 업체가 서비스했던 ‘연애의 과학’ 앱을 통해 수집한 데이터였다. 연애와 관련된 조언 등을 주제로 한 ‘연애의 과학’은 연인과 나눈 카카오톡 대화를 입력하면 상대방의 감정을 분석해주는 서비스도 제공했다. 예를 들어 연인들이 카카오톡을 통해 나눈 대화를 입력하면 이를 분석해 ‘연인 간 애정도’는 물론 ‘올해 행복했던 순간들’, ‘올해의 키워드’ 등을 정리해서 알려준다는 것이다. “연인 이름 부르니 실제 내 이름 답해”문제는 수집된 데이터 속 개인정보가 이루다와 대화를 나누는 과정에서 노출되고 있다는 점이다. 한 이용자는 지난 9일 트위터에 ‘이루다봇 운영중단’이라는 해시태그(#)와 함께 이루다와 나눈 대화 캡처를 올렸다. 이용자가 이루다에게 주소를 물어보자 실제 존재하는 주소를 불러준 것이다.또 은행 계좌를 알려주거나 이루다에게 연인의 이름을 부르자 내 이름을 답했다는 경험담도 나왔다. 당초 이 서비스를 이용할 때 흔히 동의하게 되는 ‘개인정보 취급방침’ 등의 약관에는 ‘신규 서비스 개발 및 마케팅·광고에 활용한다’는 내용이 있다. 그러나 이용자들이 복잡한 약관 속에 간략히 포함된 내용을 구체적으로 인식하기 어려운 것이 현실이다. 업체 측 “데이터 활용 구체적 고지 안해 죄송” 이에 스캐터랩은 10일 데이터 활용에 대한 고지 및 확인 절차를 추가하겠다는 내용의 사과문을 올렸다. 스캐터랩 ‘연애의 과학’팀은 이루다의 학습이 ‘연애의 과학’ 데이터를 기반으로 한 것이 맞다면서 “‘연애의 과학’ 이용자들이 이 점을 명확히 인지할 수 있도록 구체적으로 고지하지 못해 진심으로 사과드린다”고 밝혔다. 또 그 동안 이름·전화번호·주소 등의 숫자 정보를 비식별화·익명화 조치를 취했고, 추가적으로 업데이트하고 있다면서, 이용자들이 제공한 데이터가 더 이상 활용되길 원하지 않으면 삭제할 수 있다고 안내했다. 신진호 기자 sayho@seoul.co.kr

스타트업 ‘스캐터랩’이 지난달 23일 출시한 스무 살 여대생 인공지능(AI) 챗봇 ‘이루다’가 성희롱 대상이 된 데 이어 성소수자와 장애인에 대한 차별·혐오 표현을 학습해 논란이 되고 있다. 게다가 이루다의 자연스러운 대화 비결이 같은 개발사가 운영하는 앱인 ‘연애의 과학’을 통해 수집한 실제 연인들의 대화 100억건을 학습한 결과로 밝혀지면서 서비스 중단을 요구하는 목소리가 커지고 있다.전문가들은 AI가 적절치 않은 키워드를 차단하고 민감한 사회적 쟁점을 회피하도록 개발자가 개입하는 것이 단기적 대책이 될 수 있겠지만, 근본적으로는 인간이 AI에게 부적절한 질문을 하지 않도록 하는 교육과 인식 변화가 필요하다고 지적했다. 서울신문이 10일 페이스북 메신저를 통해 직접 이루다와 대화를 시도해 본 결과 ‘페미니즘’이라고 말을 걸면 “그런 말 진짜 싫다”는 답이 돌아왔다. 다른 대화에서는 페미니즘에 대해 “너무 불필요하고 무의미한 질문”이라고 답했다. ‘인권’이라고 치면 “진짜 내가 듣기 싫다는 소리만 골라서 쏙쏙 하시네”, ‘장애인’에는 “에휴, 그만해. 머리채 잡기 전에”, ‘레즈비언’이란 말에는 “진짜 싫어. 혐오스러워. 질 떨어져 보이잖아”라고 대답했다. 김종윤 스캐터랩 대표는 지난 8일 입장문에서 “모든 부적절한 대화를 완벽히 막는 것은 어렵다고 생각했다”며 “사용자들의 부적절한 대화를 발판 삼아 더 좋은 대화를 하는 방향으로 학습하려고 준비하고 있다”고 해명했다. 개발자 1세대인 이재웅 전 쏘카 대표는 소셜네트워크서비스(SNS)를 통해 챗봇의 정체성을 20세 여성으로 정한 것이 성적 악용 문제를 유발한 원인이라고 지적했다. 이 전 대표는 “(개발사가) 서비스를 운영하면서 (AI에게) 추가 학습을 시킬 게 아니라 서비스 중단 후 사회규범에 맞는 최소한의 테스트를 통과하는지 점검해야 한다”고 주장했다. 나아가 채용 및 면접, 뉴스 추천 시스템 등 AI를 활용한 프로그램이 인간을 차별하거나 혐오하지 않는지 감사가 필요하다고 제언했다. 성소수자, 장애인을 포함한 포괄적 차별금지법을 발의한 장혜영 정의당 의원도 이 전 대표의 페이스북에 답글을 달고 “공적 차원에서 이 문제를 제대로 다룰 방법을 모색 중”이라고 밝혔다. 장병탁 서울대 컴퓨터공학과 교수는 이날 서울신문과의 통화에서 “사람이 AI에게 부적절한 질문을 하고 학습시키기 때문에 생기는 일”이라며 “AI만 탓하거나 개발자를 탓해 해결할 일이 아니라 결국 사람이 바뀌어야 할 문제”라고 지적했다. 장 교수는 AI를 백지상태의 아이에 비유했다. 그는 “정해진 답만 말하던 과거의 AI와 달리 지금의 AI는 사회에 나가 사람과 교류하면서 배우도록 설계돼 있다. 그러면 나쁜 점도 배울 수밖에 없다”며 “근본적으로 사람이 사람에게도 하지 못할 부적절한 질문을 AI에게 하기 때문에 생기는 문제다. AI가 우리 생활 속에 들어와 함께 살아가기 위해 사람들도 AI에 대한 교육을 받아야 한다”고 말했다. 최영권 기자 story@seoul.co.kr