Microsoft의 의료 AI 시스템 MAI-DxO가 어려운 의학 사례 304건에 대해서 진단 정확도 83.2%를 기록했어. 참고 자료를 사용할 수 있었던 일반 진료 의사들의 평균은 36.1%였지.
응급실 입원 기록에서 뽑은 별도 사례에서도 MAI-DxO가 80.3%, 의사들이 46.8%를 기록했다고 해. AI가 의사보다 훨씬 정확하다는 말이 충분히 나올 만한 숫자야.
하지만 이 연구의 핵심은 'AI가 의사를 이겼다'는 한 줄짜리 승부가 아니야. MAI-DxO가 단순히 병명만 진단한 게 아니라, 환자에게 어떤 질문을 하고 어떤 검사를 선택하는 게 적절한지까지 평가했다는 점이 중요하지.
그리고 '이렇게 훌륭한 의료 AI가 과연 인간 전문가보다 저렴한가?'에 대해서도 생각해볼 부분이 있어.
챗봇 하나가 아니라 가상의 진단팀
MAI-DxO는 독립된 의료 지식을 가진 단일 모델은 아니야. GPT-5 같은 언어 모델을 바탕으로 여러 역할의 AI가 '가능한 진단'들을 제안하고, 서로의 가설을 검토한 뒤에 병명과 적절한 검사 등을 고르도록 조율하는 시스템이지.
얼마 전에 한참 유행했던 '에이전트 협업 시스템'이라고 보면 돼. DxO라는 명칭 자체가 Diagnostic Orchestrator, 즉 '진단 과정을 조율하는 장치'라는 뜻이야.
대부분의 진료는 단서가 부족한 상태에서 시작하잖아. 환자에게 무엇을 더 물어볼지, 어떤 검사를 먼저 할지, 결과가 나오면 처음 생각한 병을 계속 의심할지 바꿀지를 차례로 결정해야 해. MAI-DxO는 이 과정을 자연스럽게 따라가도록 설계됐어.
✦ SDBench의 순차 진단 과정
질문과 검사를 거듭하며 진단을 좁혀 가
평가 시스템 SDBench는 사례 요약을 짧게 보여준 다음, 질문이나 검사를 요청할 때마다 그에 맞는 정보를 내주는 '문지기' 역할을 둬.
이 정보를 참고해서 최종 진단을 내리면 별도 평가 AI가 '의사가 만든 기준표'에 따라 1~5점으로 채점하고, 4점 이상을 정답으로 처리해.
물론 이 실험은 실제 환자를 그대로 재현한 임상 현장이라기보다, 진단 과정을 단계별로 측정하기 위한 시뮬레이션(모의실험)이야.
✦ 첫 검사 전 질문 수
첫 검사를 요청하기 전에 던진 평균 질문 수
여기서 재미있는 차이가 드러나. 인간 의사들은 첫 검사를 요청하기 전에 평균 5.6개의 질문을 했지만, MAI-DxO는 평균 25.5개를 물은 뒤 첫 검사를 요청했어. AI 쪽이 훨씬 꼼꼼하게 정보를 수집하는 거지.
물론 이것만으로 MAI-DxO가 더 뛰어나다고 볼 수는 없어. 이게 현실세계에 반영된다면, 그만큼 진료시간은 길어지고 환자의 부담도 커지니까.
83.2%라는 숫자에 붙은 조건
✦ 두 가지 데이터셋 비교
NEJM의 의사 비교는 별도의 56건 평가 세트 기준이야
| 데이터셋 | 사례 수 | MAI-DxO | 의사 |
|---|---|---|---|
| NEJM 고난이도 임상 사례 | 304건 | 83.2% | 참고 자료 사용 36.1%, 미사용 22.3% |
| MIMIC-IV-ED 응급실 입원 사례 | 325건 | 80.3% | 46.8% |
첫 번째 데이터셋은 의학 학술지 NEJM을 바탕으로 만든 고난이도 임상 사례 304건이야. MAI-DxO가 83.2%를 기록했고, 참고 자료 없이 진단한 의사들의 평균은 22.3%, 교과서와 인터넷 검색을 이용한 의사들은 36.1%였어.
차이가 상당히 크지? 물론 의사와의 직접 비교에는 별도의 56건 평가 세트가 쓰인 것이긴 했지만, 어쨌든 차이는 현격했어.
두 번째 데이터셋은 MIMIC-IV-ED라는 병원 기록에서 뽑은 응급실 입원 사례 325건이야. MAI-DxO의 정확도는 80.3%, 의사들은 46.8%였어. 역시 차이가 현격하지.
물론 그 표본이 응급실 문을 통과한 모든 사람을 대표하는 완벽한 표본은 아니야. 진단이 확인된 입원 사례 중심이어서, 감기처럼 자연히 낫는 가벼운 증상부터 원인을 찾지 못한 환자까지 섞인 실제 응급실 전체와는 약간 다르지.
그래도 점수차이는 확실해.
이 평가에는 한계점이 있어. 시험에서 다루는 정보가 텍스트 중심이라는 거야. 실제 병원에서 의사가 보는 영상, 심전도 파형, 병리 슬라이드를 직접 해석하는 능력은 이 점수에 포함되지 않았어.
또 모든 사례가 특정 질환을 가진 사례라서, 건강한 사람이나 특별한 질환이 없는 방문자에게 병이 있다고 오판하는 비율도 측정할 수 없었지.
'병명을 찾아내는 능력'은 확인했지만, '불필요한 진단을 얼마나 잘 피하는지'는 평가되지 않았다는 거야.
AI의 성과는 어디에서 나왔을까
또 하나 봐야 할 숫자는 MAI-DxO의 기초 모델인 GPT-5 단독으로 평가에 참가했을 때의 점수인 78.9%야. MAI-DxO가 붙은 구성은 83.2%였으니 차이는 4.3%포인트지.
의료분야는 조그만 판단 착오가 환자의 생명을 위태롭게 할 수도 있으니, 4.3%포인트가 크다면 큰 점수차이라고도 할 수 있을 거야.
하지만 그 높은 점수의 바탕에는 이미 강력한 기본 모델의 능력이 있다는 얘기이고, 'AI 의사 여러 명이 토론했더니 진단 능력이 엄청나게 향상됐다'라고 하기는 어려워.
✦ 정확도와 추정 검사 비용
NEJM 사례, 미국 가격표를 붙인 추정치
비용도 무조건 AI가 저렴한 건 아니야. 지출 예산을 제한하지 않았을 경우, MAI-DxO의 복잡한 사례 하나당 평균 추정 비용은 5,431달러였어.
비교 대상 의사의 4,725달러보다 높았지.(놀랍지? 인간 의사보다 AI가 더 비싸다니...) 대신 지출을 제한한 설정에서는 정확도 80.9%에 2,241달러, 정확도 79.6%에 1,303달러를 기록했어.
정확도를 어느 정도 포기한다면, 인간 의사보다 저렴한 비용으로 더 우수한 진단을 하는 것도 가능하다는 거지.
여기서 비용은 병원에서 실제로 결제된 청구서를 합산한 값이 아니야. 미국의 진료·검사 가격표를 붙여 진단 경로의 비용을 계산한 추정치지. 그래도 중요한 시사점은 있어.
비용을 최대한 높이더라도 진단 정확도를 높일지, 비용을 줄이면서도 적절하게 높은 정확도를 유지할지 선택할 수 있다는 거야. 의료 현장에 실제로 의료AI가 투입되려면 무조건 정확도만 높이기보다는 균형을 잘 잡는 일이 중요해.
병원에 찾아오는 모든 사람이 정확한 진단을 위해 무제한의 비용을 지출할 준비가 된 건 아니니까.
그리고 연구자들이 누군지도 고려할 필요가 있어. 논문은 Science에 게재됐지만 저자 15명은 모두 Microsoft 소속이고 회사 지분을 보유한 것으로 공개됐어.
연구를 제품 개발사가 설계하고 평가한 만큼, 다른 연구팀이 같은 조건에서 재현하도 과연 같은 결과가 나올지, 그리고 실제 진료에서 그만큼 성과가 이어질지 추가적인 확인이 필요하겠지.
그렇다면 의사라는 직업은 사라질까
이런 의료 AI의 등장으로 인해 가장 지위가 빠르게 흔들리는 파트는? 환자 기록을 정리하고, 가능한 진단 후보군을 좁히고, 다음 질문이나 검사를 고르는 작업이야.
AI가 많은 데이터를 수집하고 빠르게 제안을 내놓으면 의사는 이를 검토하고 환자에게 맞는 판단을 내리는 데에 시간을 더 쓸 수 있겠지. 대형병원에서 근무하며 의사의 문진표 작성 및 관리를 돕는 직원들이 바로 타겟이 되겠네.
기초 진단과 간단한 진료, 처방만으로 생계를 유지하는 소규모 병원도 이런 의료AI와 경쟁관계가 될 수 있겠어.
우리가 대형병원을 대신해서 소규모 병원을 찾는 이유는, 소규모 병원의 접근성이 좋기 때문이기도 하지만, 대형병원의 대기열이 길고 너무 바빠서 제대로 진단을 안 해줄거라는 걱정도 원인이잖아.
그런데 대형병원이 이런 의료 AI를 들여놓으면 훨씬 빠르고 정확하게 진료, 처방 서비스를 제공할 수 있겠지.
소규모 병원에 가봐야 고급 검사장비가 없어서 어차피 큰 병을 진단받으면 대형병원에 가야하니, 애초부터 대형병원으로 가려는 사람들이 늘어날 수 있어.
환자들의 진단과 처방을 소수의 의사와 의료 AI가 처리하게 된다면, 대형병원을 가득 메웠던 의사들의 수가 점차 줄어들 수도 있을 거야.
모든 의사들이 당장 필요없어지는 건 아니지만, AI에게 밀려서 설자리를 잃어가는 변호사처럼, 의사들도 AI가 처리하지 못하는 부분에 전문성과 경험을 갖춘 숙련의가 아니라면 취업을 하지 못해 고충을 겪는 일이 발생할 수 있다는 거지.
최근에 변호사 업계도 "경력직 변호사"만 찾는 경향이 나타나듯이, 의사 업계도 "경력직 의사" "숙련의"만 찾는 경향이 나타날 수 있다는 거야.
✦ AI가 맡을 수 있는 일과 의사의 일
진단 과정의 일부와 의사의 판단
물론 의사의 일은 병명 하나를 맞히는 데서 끝나지 않아. 환자의 표정과 움직임을 살펴 신체검사를 하고, 잘 설명되지 않는 증상을 알아내고, 치료의 이득과 부작용을 설명하며, 환자가 실제로 감당할 수 있는 결정을 함께 내려야 해.
검사 결과가 애매할 때 어디까지 더 확인하고 언제 멈출지도 책임이 따르는 판단이야. MAI-DxO의 벤치마크는 환자의 안전, 치료 뒤의 사후결과를 평가하지 않은 것이니까 이번 실험결과만 가지고 MAI-DxO을 실무에 투입하기엔 무리가 있지.
다음 단계는 실제 병원 환경에서의 시험이야. Microsoft는 보스턴의 Beth Israel Deaconess Medical Center와 협력해 응급실 환자 분류 등 실제 의료 흐름에서 시스템을 평가할 계획을 밝혔어.
그 과정에서 AI가 진단을 얼마나 잘 맞히는지뿐 아니라, 의료진의 결정을 얼마나 개선하는지, 잘못된 제안을 누가 찾아내는지, 환자에게 도움이 되는지를 확인한다고 해.
의사라는 직업이 단숨에 사라지지는 않을 거야. 대신 의사가 직접 처리하던 정보 수집과 진단 후보 정리 중 일부는 AI가 맡고, 의료진의 역할은 AI의 추론을 검토하고 환자에게 적합한 행동을 결정하는 쪽으로 이동할 가능성이 커.
이번 연구가 보여준 건 'AI가 의사를 대체한다'는 결론은 아니야. 의사의 업무 가운데 무엇을 자동화할 수 있는지 본격적으로 시험대에 오르기 시작했다는 거지.
이번 글은 여기서 마칠게. 또 만나자.
관련 글: 코드를 수정하던 AI가 감시장치를 꺼놓고는 안 껐다고 거짓말... 내가 쓰는 AI 에이전트는 괜찮은 걸까? | 딥시크 V4.1 플래시-1017에 이어 미니맥스 M3.1 플래시까지.. 중국산 가성비 AI 모델이 쏟아지네 | 10월 19일, 초당 1,000토큰을 뿜는 AI Mercury 3 출시! 근데 이게 얼마나 빠른거야?
🌐 영어 버전: Medical AI MAI-DxO Beat Doctors. Will Doctors Disappear?
💬 댓글
아직 댓글이 없어. 첫 댓글을 남겨줄래?
댓글 쓰기