삼성서울병원 연구진, 일반인 및 암환자 1328명 대상 조사…기존 상용 제품 수준 보다 기대 수준 더 높아
사진 제공=삼성서울병원
[메디게이트뉴스 박민식 기자] AI 진단 기기의 정확도에 대한 사람들의 기대가 현재 기기 수준보다 높다는 조사 결과가 나왔다.
평균적으로 민감도와 특이도의 최소 허용값이 90%에 달했고, 두 값의 중앙값은 97%로 이미 허가를 받아 사용 중인 일부 AI 진단 기기 보다도 더 높은 수준을 바라고 있었다.
삼성서울병원 폐식도외과 김홍관 교수, 임상역학연구센터 강단비 교수, 유방외과 유종한 교수, 환자성과가치혁신실 이지선 연구원, A-CRO팀 김미은 연구원 공동 연구팀은 AI 기반 질병 진단에 대해 수용 가능한 최소 성능을 조사해 국제학술지 ‘npj 디지털 메디신’ 최근호에 발표했다.
연구팀은 전국 17개 시도에서 19~84세 일반 성인 1222명을 모집하고, 삼성서울병원에서 추적 관찰 중인 장기 폐암 생존자 106명을 포함해 총 1328명을 대상으로 분석을 진행했다.
연구팀은 참여자에게 “질병이 있는 100명 중 몇 명까지 놓치는 것을 허용할 수 있는지(민감도)”, “질병이 없는 100명 중 몇 명까지 잘못 양성으로 판정하는 것을 허용할 수 있는지(특이도)”를 각각 물었다.
민감도는 실제로 질병이 있는 사람 가운데 AI가 놓치지 않고 올바르게 찾아내는 비율을 말한다. 민감도가 높을수록 ‘병이 있는데 놓치는 경우’가 줄어든다. 특이도는 질병이 없는 사람 가운데 AI가 잘못 양성으로 판정하지 않고 올바르게 걸러내는 비율이다. 특이도가 높을수록 ‘병이 없는데 있다고 잘못 판단하는 경우’가 줄어든다.
연구에 따르면 전체 1328명의 평균 최소 허용 민감도와 특이도는 모두 0.90이었다. 중앙값은 0.97로 더 높았고, 민감도·특이도 모두 1.00(100%)을 요구한 응답자도 각각 34%, 33%에 달했다.
특히 81.6%는 민감도 0.88 이상, 특이도 0.90 이상을 요구했다. 이는 미국 FDA가 2018년 승인한 당뇨망막병증 진단 AI 기기인 IDx-DR의 실제 성능(민감도 0.874, 특이도 0.895)보다 높은 수준이다. IDx-DR은 안과 전문의 없이도 망막 사진을 보고 당뇨망막병증 여부를 판정하도록 허가받은 기기로, 당시 질병 진단용 AI 기기 가운데 민감도와 특이도가 가장 높은 편에 속했다.
연구팀은 이 기기를 비교 기준으로 삼아 일반인이 기대하는 성능이 현재 허가된 기기보다 높을 수 있음을 확인했다. 암 병력이 있는 응답자는 더 높은 기준을 제시했다. 폐암 장기 생존자 코호트(106명)의 경우 평균 최소 허용 민감도는 0.96, 특이도는 0.97로, 오진에 대한 매우 엄격한 잣대를 가진 것으로 나타났다.
암을 직접 경험한 환자일수록 재발에 대한 불안감과 질환의 중증도로 인해 AI의 미세한 오차조차 수용하기 어려워하는 심리가 반영된 것으로 풀이된다.
강단비 교수는 “환자들은 AI가 사람보다 실수를 덜 해야 한다고 생각하는 경향이 있다”며 “허가 기준을 충족한 기기라도 사용자가 기대하는 수준과 차이가 날 수 있으므로, 진단 오류의 가능성과 그 의미를 미리 명확히 전달하는 과정이 필요하다”고 말했다.
민감도와 특이도가 각각 무엇을 의미하는지, 실제 사용 환경에서 위음성·위양성이 얼마나 발생할 수 있는지, 질병 유병률에 따라 양성·음성 예측도가 어떻게 달라지는지를 대상자에게 충분히 설명해야 한다는 것이다.
유종한 교수는 “AI 연구들이 임상의학과 병원 현장에 빠르게 도입되고 있는 시점에서 실제 영향을 직접 받는 환자분들의 입장에서 바라보았다는 것에 의미가 있다”며 “AI 기반 기술들을 임상 프로세스의 단계별, 그리고, 다양한 질환군의 환자분들 및 이를 이용하는 의료진들의 입장에서도 생각하고 바라봐야 한다”고 말했다.
김홍관 교수는 “암 생존자처럼 질병 경험이 있는 사람은 더 높은 정확도를 요구했다”면서 “AI 시스템이 임상 현장에 성공적으로 안착하기 위해서는 단순히 민감도와 특이도 수치를 제시하는 수준을 넘어, 실제 오진 확률과 유병률에 따른 결과의 의미를 사전에 투명하고 정확하게 소통하는 과정이 반드시 병행되어야 한다”고 강조했다.