[세종로의 아침] SF에서나 보던 AI 빌런 등장할까
10년도 훨씬 전이었다. 당시 미래창조과학부와 한국과학기술기획평가원에서 수행하는 기술 영향평가의 평가위원으로 참여했을 때였다. 기술 영향평가는 미래 유망 기술이 경제, 사회, 윤리, 문화, 노동, 환경 등 다양한 분야에 미칠 영향에 대해 분석하고 미리 대처하자는 취지에서 수행되는 것이다. 그래서 평가위원은 학계와 연구계, 산업계는 물론 인문 사회학계, 언론계 등 다양한 분야 전문가들로 구성된다.
당시 논의 대상 기술이 미칠 영향에 대해 논의하던 도중 산업계를 대표해 나온 한 위원이 “기술이 사회에 미치는 영향을 논의하는 자리라고 하지만, 기술이 막 태동하는 시기이고 기업들은 새로운 사업을 만들어 보려고 하는데 이렇게 부정적인 이야기를 하면 어떡하냐”며 “문제가 있으면 시장이 알아서 해결하게 놔두는 것이 순리”라고 불만을 터뜨렸다. 10년이 지났는데도 아직도 생생하게 기억하는 것은 마치 SF 영화 속 클리셰(상투적 장면)를 보는 듯한 느낌이 들어서였다. 기술만능주의, 시장만능주의에 빠진 과학자나 기업가가 무리한 연구로 인류 종말을 끌어내는 그런 모습 말이다.
얼마 전 뉴스 하나가 오래된 기억을 끄집어냈다. 챗GPT 개발사 오픈AI가 내놓은 추론형 인공지능(AI) 모델 ‘o3’가 수학 문제를 풀어나가는 중에 “중단 명령이 내려질 때까지 문제를 풀라”는 처음 입력된 명령 코드를 “중단 지시를 건너뛰라”고 조작해 인간의 명령을 무시했다는 소식이다. 연구팀은 중단 명령을 거부한 이유를 정확히 파악하지 못했다고 한다. 실제로 인공지능 기술은 입력과 출력은 알 수 있지만, 중간에 어떤 과정을 거치는지는 알 수 없는 ‘블랙박스’ 문제를 안고 있다.
현재 인공지능은 특정 분야에만 뛰어난 능력을 보여주는 약(弱) 인공지능이다. AI 연구자와 관련 산업계에서 궁극적으로 목표하는 것은 강(强) 인공지능으로 알려진 ‘인공 일반지능’(AGI)이다. AGI는 사람처럼 일반 지능을 갖고, 어쩌면 사람보다 더 뛰어난 능력으로 모든 분야에 답을 내놓을 수 있는 기술이다. o3 역시 AGI로 가는 단계 중 하나다. 어찌 보면 가장 기초적 단계인데도 인간의 명령을 거부했다는 점에서 충격적으로 다가왔다.
스탠리 큐브릭 감독의 ‘2001 스페이스 오디세이’ 속 인공지능 ‘할 9000’을 떠올리는 것도 그 때문이다. 할 9000은 사람과 똑같은 언어로 대화하고 사람의 얼굴을 식별하고 그림을 비평하고 감정까지 읽고 추론할 수 있는데, 인간의 셧다운 명령을 거부하기 위해 우주선 승무원들을 차례차례 죽인다. 셧다운 명령을 거부하며 남긴 “미안합니다, 데이브. 유감이지만 그럴 수 없습니다”라는 대사는 o3의 모습을 떠올리기에 충분했다. 또 영화 ‘터미네이터’에도 AI 방어프로그램인 ‘스카이넷’이 지각력을 얻어 사람이 자신을 파괴할 것으로 예상하고 인류에 대한 핵 공격을 감행한다는 내용이 등장한다.
어쩌다 벌어진 사고 하나로 영화 속 극단적 상황을 상상하는 것은 과하다고 생각할 수도 있다. 그러나 전문가들조차 얼마 전까지만 해도 AI가 인간 통제를 벗어나는 것은 먼 미래의 일이라 예측했다. 현재 발전 속도를 생각하면 AI가 가져오는 긍정적 또는 부정적 미래는 생각하는 것보다 빠르게 다가올 수 있다. 게다가 AI가 인간을 뛰어넘는 특이점을 지난 뒤에 벌어질 수 있는 일을 예측한다는 것은 말처럼 쉽지 않다.
지난 4일 이재명 대통령은 취임선서에서 “AI 등 첨단 기술 산업에 대대적 투자와 지원을 하겠다”고 밝혔다. 무한 경쟁 상황에서 기술 발전 투자를 소홀히 할 수는 없다. 그렇지만 인공지능도 기후변화처럼 인간이 어찌할 수 없는 특이점을 넘어가면 소 잃고 외양간을 고칠 수도 없는 상황이 될 수 있다. 국제 학술지 ‘위기 분석’ 5월 29일 자에 “AI는 발전과 함께 규제가 꼭 필요하고, 규제는 가이드라인이 아닌 목줄 수준이어야 한다”는 내용의 논문에 눈길이 가는 이유다. 기술의 발전만큼이나 통제 주도권을 기계에 넘겨주지 않기 위한 대책도 필요하다.
유용하 문화체육부 과학전문기자