서울대병원 영상의학과 박창민, 이동헌 교수 연구팀이 거대언어모델(LLM) 기반 흉부 X선 영상-텍스트 양방향 검색 AI 모델을 개발했다고 26일 밝혔다.

연구팀은 병원마다 다른 X선 판독문 스타일 문제를 해결하기 위해 이 모델을 만들었다. 기존 BERT 텍스트 인코더는 기관별 약어와 서술 방식의 차이로 영상과 문장을 정확히 연결하기 어려운 한계가 있었다. 연구팀은 BERT 대신 LLM을 문장 인코더로 전환해 앞뒤 문맥을 함께 읽는 양방향 구조를 적용했다. 생성형이 아닌 기존 판독문을 찾아주는 검색형 인코더로 설계했으며, 원본 판독문에 AI 변형 문장을 더해 학습 데이터를 110만여 건으로 확장했다.

연구팀은 완성된 인코더(LLM2VEC4CXR)를 영상 인코더와 결합해 'LLM2CLIP4CXR' 모델을 구축했다. 영상과 판독문을 동일한 수치 공간으로 변환해 비교하는 방식이다. 서울대병원 비식별 데이터와 MIMIC-CXR, CheXpert-plus, PadChest 등 공개 데이터셋을 통합해 총 160만여 건의 영상-판독문 쌍으로 학습을 진행했다.

 

성능 검증 결과, 자체 검증 데이터셋(MIMIC-CXR)에서 임상 정확도를 나타내는 GREEN 점수가 0.308로 비교 모델 중 가장 높았다. 외부 검증셋(Open-I)에서는 GREEN 점수 0.618을 기록했으며, 상위 1순위 내 정답 발견 비율은 4.9%로 검색 기반 비교 모델 최고치(2.9%)를 상회했다. 약어가 많거나 결론 위주의 짧은 판독문을 추가로 학습시켜도 정확도가 유지되거나 향상된 반면, 기존 BERT 기반 모델은 데이터 증가 시 정확도가 하락하는 경향을 보였다.

의사 3명과 LLM 4종이 외부 검증셋 200개 증례를 평가한 결과 연구팀 모델이 가장 높은 평가를 받았다. 흉부 영상의학과 전문의가 검토한 72개 증례 중 76%가 해당 모델의 결과를 1순위로 선택했다. 연구팀은 이 기술이 PACS·RIS 환경에서 의미 기반 검색 계층으로 활용될 수 있을 것으로 내다봤다. 실제 존재하는 영상과 판독문을 제시해 결과의 근거 추적이 가능하다는 점도 장점으로 꼽았다.

박창민 교수는 "의료 AI의 성능은 데이터 양보다 문맥과 임상 지식 이해 깊이에 달려 있다"며 "검색 방식은 결과의 근거를 추적할 수 있는 장점이 있다"고 말했다. 이동헌 교수는 "비정형 판독문을 원형 그대로 활용할 수 있는 길을 열었다"며 "향후 흉부 CT 등으로 범위를 넓히고 다기관 후속 검증을 추진할 계획"이라고 밝혔다.

이번 연구 결과는 국제학술지 'IEEE Journal of Biomedical and Health Informatics(JBHI)'에 게재됐으며, 개발 모델은 허깅페이스(Hugging Face)와 깃허브(Github)에 연구 목적으로 공개됐다.

저작권자© 메디게이트뉴스, 무단 전재 및 재배포 금지

#서울대병원 # 거대언어모델 # 흉부 X선 # 판독문 인코더 # LLM2CLIP4CXR # 의료 영상 검색 # JBHI # AI