AI 진단 정확도, 환자 기대치는 97%…“오진 거의 없어야”
인공지능(AI)을 활용한 질병 진단 기술이 빠르게 발전하고 있지만, 환자들이 기대하는 정확도는 현재 상용화된 AI 진단 기기의 성능보다 훨씬 높은 것으로 나타났다. 일반인과 암 환자들은 AI가 질병을 놓치거나 잘못 진단하는 경우를 최소화해야 한다고 생각했으며, 특히 암을 경험한 환자들은 정확도가 96~97%에 달해야 한다는 엄격한 기준을 제시했다.
삼성서울병원 폐식도외과 김홍관 교수, 임상역학연구센터 강단비 교수, 유방외과 유종한 교수 등 공동 연구팀은 AI 기반 질병 진단에 대해 일반인과 환자들이 수용할 수 있는 최소 정확도 기준을 조사한 연구 결과를 국제학술지 ‘npj 디지털 메디신(npj Digital Medicine)’ 최근호에 발표했다고 18일 밝혔다.
연구팀은 전국 17개 시도에 거주하는 19~84세 일반 성인 1222명과 삼성서울병원에서 추적 관찰 중인 폐암 장기 생존자 106명 등 총 1328명을 대상으로 설문조사를 진행했다.
조사는 AI 진단의 두 가지 핵심 지표인 민감도와 특이도를 중심으로 이뤄졌다. 민감도는 실제 질병이 있는 사람을 정확히 찾아내는 비율로, 수치가 낮을수록 환자를 놓치는 위음성이 발생할 가능성이 커진다. 특이도는 질병이 없는 사람을 정상으로 판별하는 비율로, 낮을수록 질병이 있다고 잘못 판단하는 위양성이 늘어난다.
연구팀은 응답자들에게 질병이 있는 100명 가운데 몇 명까지 놓치는 것을 허용할 수 있는지, 질병이 없는 100명 가운데 몇 명까지 잘못 양성 판정을 내리는 것을 받아들일 수 있는지를 물었다.
그 결과 전체 응답자의 민감도와 특이도 최소 허용 기준은 평균 90%였으며, 중앙값은 모두 97%에 달했다. 민감도와 특이도 모두 100%를 요구한 응답자도 각각 34%, 33%였다. 응답자의 81.6%는 민감도 88% 이상, 특이도 90% 이상의 성능을 요구했다.
이는 미국 식품의약국(FDA)이 2018년 승인한 당뇨망막병증 진단 AI 기기 ‘IDx-DR’의 실제 성능인 민감도 87.4%, 특이도 89.5%보다 높은 수준이다. 당시 IDx-DR은 안과 전문의의 판독 없이 망막 사진을 분석해 질병 여부를 판단하도록 허가받은 대표적인 AI 진단 기기였다. 이미 의료 현장에서 사용되는 기기보다 일반인들의 기대 수준이 높다는 점을 보여준다.
특히 암을 경험한 환자들은 AI 진단에 더욱 엄격한 기준을 적용했다. 폐암 장기 생존자들의 최소 허용 민감도는 평균 96%, 특이도는 97%로 일반인보다 높았다. 질병의 재발 가능성과 중증도를 직접 경험한 환자일수록 작은 진단 오류도 받아들이기 어려운 것으로 풀이된다.
강단비 교수는 “환자들은 AI가 사람보다 실수를 덜 해야 한다고 생각하는 경향이 있다”며 “허가 기준을 충족한 기기라도 사용자가 기대하는 수준과 차이가 날 수 있어 진단 오류의 가능성과 의미를 사전에 명확히 전달해야 한다”고 말했다.
유종한 교수는 “AI 기술이 임상 현장에 빠르게 도입되는 시점에서 실제 영향을 받는 환자들의 관점으로 바라봤다는 데 의미가 있다”며 “다양한 질환군과 임상 단계별로 환자와 의료진의 입장을 함께 고려해야 한다”고 강조했다.
김홍관 교수는 “AI가 의료 현장에 성공적으로 안착하려면 단순히 민감도와 특이도 수치를 제시하는 데 그쳐서는 안 된다”며 “실제 오진 확률과 유병률에 따른 검사 결과의 의미 등을 환자에게 투명하고 정확하게 설명하는 소통 과정이 반드시 뒷받침돼야 한다”고 말했다.
한편 이번 연구는 과학기술정보통신부와 한국연구재단 바이오·의료기술개발사업의 지원을 받아 수행됐다.