- 규제기관의 AI 가이드라인 확대가 검증 책임과 설명가능성을 새로운 시장 진입 조건으로 만들고 있다
의료 AI의 경쟁 기준이 빠르게 달라지고 있다. 높은 정확도를 제시하는 것만으로는 환자에게 안전하고 신뢰할 수 있는 기술이라는 사실을 입증하기 어려워졌다. 규제기관은 학습데이터의 품질과 대표성, 임상 환경에서의 성능, 모델 변경 이력, 의료진의 개입 방식까지 확인하기 시작했다. 의료 AI 기업의 핵심 역량도 알고리즘 개발에서 검증·문서화·감시·책임 관리가 결합된 규제 대응 능력으로 확장되고 있다.
[Key Message]
* 의료 AI의 경쟁은 정확도 중심에서 임상적 증거 중심으로 이동하고 있다. 높은 성능 수치만으로는 충분하지 않으며, 다양한 환자군과 실제 의료 환경에서도 안전성과 유효성이 유지된다는 사실을 입증해야 한다.
* 의료 AI의 검증 책임은 개발사를 넘어 병원과 의료진까지 확대되고 있다. 개발사는 기술의 한계와 사용 범위를 명확히 제시하고, 의료기관은 실제 진료 환경에서의 적합성과 성능을 지속적으로 확인해야 한다.
* 설명가능성은 알고리즘의 내부 구조를 공개하는 것이 아니라 안전한 판단에 필요한 정보를 제공하는 것이다. 의료진과 환자가 AI의 목적, 적용 범위, 성능, 한계와 오류 가능성을 이해할 수 있어야 한다.
* 의료 AI의 안전성은 한 번의 허가가 아니라 지속적인 감시를 통해 유지된다. 데이터 변화와 모델 업데이트에 따른 성능 저하를 추적하고, 문제가 발견되면 재검증하거나 사용 범위를 제한할 수 있어야 한다.
* 규제 대응 능력은 의료 AI 기업의 새로운 경쟁력이 되고 있다. 데이터 관리, 임상 검증, 변경 이력, 문서화, 사후 모니터링을 체계적으로 수행하는 기업이 시장의 신뢰와 글로벌 진출 기회를 확보할 수 있다.
***
성능 경쟁에서 증거 경쟁으로
의료 AI 산업의 초기 경쟁은 얼마나 높은 정확도를 구현하느냐에 집중됐다. 의료영상에서 병변을 찾아내는 정확도, 질병 위험을 예측하는 민감도와 특이도, 의료진보다 빠르게 데이터를 분석하는 처리 속도가 기술력을 보여주는 대표적인 지표였다. 일부 기업은 특정 시험에서 전문의와 비슷하거나 더 높은 성능을 기록했다는 결과를 앞세워 의료 AI의 가능성을 알렸다.
그러나 의료 현장에서 정확도라는 숫자는 생각보다 복잡한 의미를 가진다. 개발 단계에서 확보한 시험데이터로 높은 성능을 냈다고 해서 모든 병원과 환자에게 같은 결과가 나타나는 것은 아니다. 학습에 사용된 환자의 연령, 성별, 인종, 질병 중증도와 실제 사용 환경의 환자 구성이 다르면 성능이 낮아질 수 있다. 의료영상 장비의 제조사와 촬영 조건이 달라져도 입력데이터의 특성이 달라진다. 동일한 질환이라도 병원마다 진단 기준과 진료 절차가 다르기 때문에 AI의 출력이 임상적으로 활용되는 방식도 달라진다.
규제기관이 의료 AI를 바라보는 관점도 이러한 현실을 반영해 변화하고 있다. 이제 중요한 질문은 시험데이터에서 몇 퍼센트의 정확도를 기록했느냐가 아니다. 어떤 목적으로 개발됐는지, 어느 환자군에서 검증됐는지, 어떤 환경에서 성능이 떨어질 수 있는지, 오류가 발생했을 때 환자에게 어느 정도의 위험이 생기는지를 함께 확인한다. 성능을 보여주는 숫자보다 그 숫자가 만들어진 조건과 근거가 중요해진 것이다.
미국 식품의약국은 AI가 포함된 의료기기 소프트웨어를 개발과 허가 단계에 한정해 평가하지 않고, 제품의 전체 생애주기에 걸쳐 관리하는 방향을 강화하고 있다. 개발사는 모델 구조와 학습 과정뿐 아니라 학습·검증·시험데이터를 어떻게 구분했는지, 데이터가 실제 사용 대상자를 충분히 대표하는지, 모델의 한계와 위험을 어떻게 관리할 것인지도 설명해야 한다. 제품이 시장에 나온 이후 성능을 어떻게 관찰하고 문제를 어떻게 보고할 것인지도 중요한 검토 대상이 된다.
이러한 변화는 의료 AI의 경쟁이 성능 경쟁에서 증거 경쟁으로 이동하고 있음을 보여준다. 뛰어난 알고리즘을 개발하는 능력만으로는 충분하지 않다. 그 알고리즘이 다양한 환자와 임상 환경에서 안전하고 유효하게 작동한다는 사실을 재현 가능한 자료로 증명해야 한다.
기업도 개발 초기부터 검증 전략을 함께 설계해야 한다. 제품 개발을 완료한 뒤 허가를 위해 자료를 모으는 방식으로는 규제기관이 요구하는 수준의 증거를 확보하기 어렵다. 어떤 환자를 대상으로 삼을 것인지, 어떤 위험을 줄이려는 것인지, 의료진의 판단 과정에서 어느 위치에 사용될 것인지를 먼저 정의해야 한다. 이후 해당 목적에 맞는 데이터를 수집하고, 환자군별 성능 차이와 실패 가능성을 분석해야 한다.
의료 AI 시장에서 높은 정확도는 여전히 중요하다. 하지만 정확도는 제품의 가치를 증명하는 출발점일 뿐이다. 앞으로는 성능이 만들어진 과정과 사용 가능한 범위, 임상적 효과와 위험을 함께 입증할 수 있을 때 비로소 신뢰받는 의료기술로 인정받을 수 있다.
검증 책임은 개발사 밖으로 확대된다
의료 AI는 독립적으로 진료하는 존재가 아니다. 병원의 의료정보시스템과 연결되고, 의료진의 판단에 영향을 주며, 환자의 검사와 치료 과정에 포함된다. 같은 제품이라도 어떤 병원에서 누가 어떻게 사용하느냐에 따라 결과가 달라질 수 있다. 의료 AI의 안전성을 알고리즘 자체의 문제로만 볼 수 없는 이유다.
과거 의료기기 규제에서는 제조사가 제품의 안전성과 유효성을 입증하는 것이 기본 원칙이었다. 의료 AI에서도 개발사와 제조사가 중심적인 책임을 지지만, 실제 운영 과정에서는 병원과 의료진의 역할이 커질 수밖에 없다. 병원이 제품의 사용 목적을 임의로 확대하거나 검증되지 않은 환자군에 적용한다면 허가 당시 확보한 안전성이 유지되지 않을 수 있다. 의료진이 AI의 결과를 절대적인 판단으로 받아들이거나, 반대로 필요한 경고를 반복해서 무시할 경우에도 새로운 위험이 발생한다.
따라서 의료 AI의 검증은 시장 진입 전 제조사가 한 차례 수행하는 시험으로 끝나기 어렵다. 도입하는 병원도 자사의 환자 구성과 장비, 업무 절차에 적합한지를 확인해야 한다. 기존 검사 방식과 비교해 실제로 진료 품질을 높이는지, 특정 환자군에서 오류가 집중되지 않는지, 의료진이 결과를 올바르게 이해하는지를 지속적으로 점검해야 한다.
책임의 범위는 데이터 공급자와 외부 기술업체로도 확대된다. 의료 AI 개발에는 병원에서 생산된 임상데이터, 외부에서 구매한 데이터세트, 클라우드 인프라, 범용 AI 모델 등이 복합적으로 사용될 수 있다. 데이터의 출처가 불분명하거나 라벨링 기준이 일관되지 않으면 모델의 성능과 공정성을 신뢰하기 어렵다. 범용 모델을 의료 목적으로 변형해 사용하는 경우에는 원래 모델의 변경과 업데이트가 의료 기능에 어떤 영향을 미치는지도 확인해야 한다.
이러한 구조에서는 책임을 한 기업이나 한 부서에만 맡기기 어렵다. 개발팀은 모델의 기술적 특성과 한계를 설명해야 하고, 임상팀은 실제 진료에서의 의미를 평가해야 한다. 품질관리 부서는 변경과 오류를 기록하고, 규제 담당자는 제출 자료와 운영 절차가 요구사항을 충족하는지 확인해야 한다. 병원에서는 의료진, 정보기술 담당자, 의료기기 관리부서, 윤리·법무 조직이 함께 도입과 운영 기준을 마련해야 한다.
특히 생성형 AI가 의료 현장에 들어오면서 책임의 경계는 더욱 복잡해지고 있다. 진료기록을 요약하거나 환자 안내문을 작성하는 AI는 진단 AI보다 위험이 낮아 보일 수 있다. 그러나 잘못된 정보를 자연스러운 문장으로 제시하거나 중요한 의료정보를 누락한다면 진료 과정에 영향을 줄 수 있다. 의료진이 출력 내용을 검토해야 한다는 원칙을 세우더라도, 업무량이 많아지면 검토가 형식적인 절차로 바뀔 가능성이 있다.
의료 AI의 책임 체계는 문제가 발생했을 때 누가 책임지는지를 정하는 데만 목적이 있지 않다. 위험을 사전에 발견하고 통제하기 위해 각 참여자가 무엇을 해야 하는지를 명확히 하는 것이 더 중요하다. 개발사는 제품의 사용 범위와 한계를 구체적으로 제시해야 한다. 병원은 허가된 목적과 실제 사용 방식이 일치하는지 관리해야 한다. 의료진은 AI의 결과를 임상적 맥락에서 검토하고, 의심스러운 결과를 보고할 수 있어야 한다.
의료 AI의 검증 책임이 확대된다는 것은 책임이 분산돼 아무도 책임지지 않는다는 뜻이 아니다. 오히려 개발부터 사용까지 이어지는 과정마다 책임 주체와 확인 절차를 더 명확하게 설정해야 한다는 의미다. 기술이 의료 체계 안으로 깊숙이 들어갈수록 안전성은 한 번의 승인보다 여러 참여자가 연결된 관리 구조를 통해 확보된다.
설명가능성은 기술 설명이 아니라 임상 정보다
의료 AI 규제에서 가장 자주 등장하는 단어 가운데 하나가 설명가능성이다. 그러나 설명가능성이 정확히 무엇을 의미하는지를 두고는 여전히 다양한 해석이 존재한다. 어떤 사람은 AI가 결론에 도달한 계산 과정을 모두 공개해야 한다고 생각하고, 다른 사람은 의료진이 이해할 수 있는 근거만 제공하면 된다고 본다.
복잡한 딥러닝 모델의 내부 작동을 완전히 설명하는 것은 현실적으로 쉽지 않다. 수백만 개 이상의 매개변수가 상호작용해 결과를 만들어내기 때문에 특정 출력이 나온 원인을 한두 문장으로 정리하기 어렵다. 모델의 내부 계산을 시각화하거나 특정 입력의 중요도를 표시하는 기술도 있지만, 그것이 곧 임상적으로 타당한 설명을 의미하지는 않는다. 모델이 영상의 특정 영역에 주목했다는 사실을 보여주더라도, 그 영역이 의학적으로 적절한 근거인지 별도로 검토해야 한다.
의료 AI에서 필요한 설명은 모델 내부를 모두 들여다보는 것보다 사용자가 안전하게 판단할 수 있도록 필요한 정보를 제공하는 데 초점을 맞춰야 한다. 의료진은 AI가 어떤 환자와 질환을 대상으로 개발됐는지, 어느 상황에서 사용해서는 안 되는지, 어떤 입력 조건에서 성능이 낮아지는지를 알아야 한다. 제시된 결과가 확정적인 진단인지 참고 의견인지, 의료진의 추가 확인이 필요한지도 분명해야 한다.
환자에게 필요한 설명은 의료진에게 필요한 설명과 다를 수 있다. 환자는 자신의 진료에 AI가 사용됐는지, AI의 판단이 치료 결정에 어느 정도 영향을 미쳤는지, 오류가 발생했을 때 어떻게 이의를 제기할 수 있는지를 알고 싶어 할 수 있다. 개발자는 모델의 구조와 학습 방법을 설명하는 것에 집중하기 쉽지만, 환자에게는 자신의 권리와 치료 과정에 관한 정보가 더 중요하다.
FDA, 캐나다 보건부와 영국 의약품·건강관리제품규제청이 공동으로 제시한 투명성 원칙도 정보를 단순히 공개하는 데 그치지 않고, 의료진·환자·의료기관 등 사용자에게 적절한 시점과 방식으로 전달하는 것을 강조한다. 제품의 목적과 성능, 한계, 데이터 특성, 업데이트 내용, 오류 가능성처럼 환자 안전과 판단에 영향을 미치는 정보가 대상별로 이해할 수 있게 제공돼야 한다는 것이다.
설명가능성은 문서의 양을 늘리는 것과도 다르다. 수백 페이지의 기술문서를 제공하더라도 의료진이 필요한 정보를 빠르게 찾지 못한다면 효과적인 설명이라고 보기 어렵다. 반대로 화면에 지나치게 많은 경고를 표시하면 사용자가 반복되는 경고를 무시하는 경고 피로가 발생할 수 있다. 필요한 정보를 실제 의사결정이 이뤄지는 순간에 제공하도록 사용자 경험을 설계해야 한다.
예를 들어 영상진단 AI가 이상 가능성을 표시한다면 단순히 위험 점수만 보여주는 것보다, 어떤 목적으로 계산된 점수인지, 임계값에 따라 결과가 어떻게 달라지는지, 성능이 충분히 검증되지 않은 환자군은 누구인지 함께 알려주는 편이 유용하다. 의료진이 AI의 권고를 받아들이지 않을 수 있어야 하며, 그 판단을 기록하고 이후 성능 개선에 활용할 수 있는 구조도 필요하다.
설명가능성은 환자 안전뿐 아니라 의료진의 책임을 보호하는 장치이기도 하다. AI가 어떤 조건에서 작동하고 어느 정도의 신뢰성을 갖는지 충분한 정보가 제공되지 않은 상태에서 의료진에게 모든 판단 책임을 맡기는 것은 적절하지 않다. 제품을 공급하는 기업은 의료진이 합리적인 판단을 내릴 수 있을 만큼 명확한 정보를 제공해야 한다.
설명가능성이 의료 AI의 혁신을 방해한다는 주장도 있다. 그러나 설명할 수 없는 기술이 모두 위험한 것은 아니며, 설명할 수 있다고 해서 모두 안전한 것도 아니다. 중요한 것은 사용 목적과 위험 수준에 맞는 설명을 제공하는 것이다. 의료 AI에서 설명가능성은 알고리즘을 단순하게 만드는 요구가 아니라, 기술의 성능과 한계를 임상적 의사결정에 필요한 정보로 바꾸는 과정이다.
한 번의 허가보다 지속적인 감시가 중요해진다
전통적인 의료기기는 허가를 받은 이후 기본적인 기능이 크게 달라지지 않는 경우가 많았다. 하지만 AI 소프트웨어는 데이터와 알고리즘의 변화에 따라 성능이 달라질 수 있다. 새로운 데이터를 이용해 모델을 재학습하거나 기능을 개선할 수 있으며, 운영체제와 병원 시스템이 변경돼도 결과에 영향을 받을 수 있다.
AI의 장점으로 꼽히는 학습과 개선 능력이 규제 관점에서는 새로운 과제가 되는 셈이다. 허가를 받은 시점의 모델과 실제로 사용되는 모델이 달라진다면 기존 검증 결과를 그대로 적용하기 어렵다. 그렇다고 작은 변경이 있을 때마다 처음부터 허가 절차를 반복하도록 하면 기술 개선이 지나치게 늦어질 수 있다.
미국 FDA가 예정된 변경관리계획을 마련한 이유도 여기에 있다. 개발사는 제품이 허가된 이후 어떤 부분을 변경할 수 있는지, 변경이 성능과 위험에 어떤 영향을 줄 수 있는지, 변경된 모델을 어떤 방법으로 검증하고 관리할지를 사전에 제시할 수 있다. 규제기관이 이를 적절하다고 판단하면 정해진 범위 안에서 모델을 개선하면서도 안전성과 유효성을 관리할 수 있다.
그러나 사전에 예상하지 못한 변화도 발생할 수 있다. 특정 지역에서 새로운 질병이 유행하거나 환자의 생활양식과 의료환경이 바뀌면 입력데이터의 분포가 달라진다. 병원이 새로운 영상장비를 도입하거나 검사 프로토콜을 변경해도 모델이 익숙하지 않은 데이터가 들어올 수 있다. 학습 당시에는 안정적이었던 성능이 시간이 지나며 낮아지는 데이터 드리프트와 모델 드리프트가 나타날 수 있다.
따라서 의료 AI에는 출시 후 감시 체계가 필수적이다. 전체 성능뿐 아니라 성별, 연령, 인종, 지역, 질병 중증도 등에 따라 오류율이 달라지는지도 확인해야 한다. 사용자 불만과 사고 보고뿐 아니라 AI의 권고가 의료진에 의해 얼마나 자주 수정되는지, 특정 환경에서 사용이 중단되는지도 중요한 신호가 될 수 있다.
감시 결과 문제가 발견됐을 때 대응하는 절차도 마련해야 한다. 단순한 소프트웨어 오류라면 업데이트로 해결할 수 있지만, 특정 환자군에 지속적으로 불리한 결과가 나타난다면 사용 범위를 제한하거나 모델을 다시 검증해야 한다. 환자 안전에 중대한 위험이 예상된다면 제품 사용을 일시적으로 중단하는 결정도 필요하다.
유럽연합의 AI 규제도 의료 목적의 상당수 AI 시스템을 고위험 영역에서 다루며 위험관리, 데이터 거버넌스, 기술문서, 기록 보존, 사용자 정보, 인간의 감독과 출시 후 모니터링을 중요한 요구사항으로 제시하고 있다. AI Act는 2024년 8월 발효됐으며, 의료 목적의 고위험 AI에는 의료기기 규정과 AI 규정이 함께 적용되는 구조가 형성되고 있다.
지속적인 감시는 기업의 품질관리 방식도 바꾼다. 개발팀이 모델을 완성해 규제 담당자에게 넘기는 직선적인 개발 방식에서 벗어나야 한다. 제품이 시장에 출시된 이후 수집되는 데이터와 사용자 경험이 다시 개발과 검증 과정으로 돌아오는 순환 구조가 필요하다.
병원도 AI를 구매해 설치한 뒤 그대로 사용하는 수동적인 소비자에 머물 수 없다. 병원 내부에 AI 제품 목록을 만들고, 버전과 업데이트 이력을 관리하며, 성능 이상과 사용자 의견을 수집해야 한다. 중요한 의료 판단에 사용되는 제품일수록 정기적인 재평가와 사용 중단 기준을 마련할 필요가 있다.
의료 AI 시대의 허가는 안전성에 대한 영구적인 보증서가 아니다. 특정 시점과 조건에서 안전성과 유효성이 확인됐다는 출발점에 가깝다. 기술과 데이터, 임상 환경이 계속 변하기 때문에 신뢰도 지속적으로 확인하고 갱신해야 한다.
규제 대응 능력이 의료 AI의 경쟁력이 된다
규제 강화는 의료 AI 기업에 상당한 부담을 줄 수 있다. 다양한 환자군을 대상으로 임상 근거를 확보하고, 데이터의 출처와 품질을 관리하며, 개발 과정과 변경 이력을 문서화하려면 많은 시간과 비용이 필요하다. 규모가 작은 스타트업에는 기술개발 비용보다 규제 대응 비용이 더 큰 장벽으로 느껴질 수도 있다.
그렇다고 규제를 단순한 장애물로만 보는 것은 의료 AI 시장의 특성을 충분히 반영하지 못한다. 의료기술은 환자의 생명과 건강에 직접 영향을 미친다. 성능이 검증되지 않은 제품이 빠르게 확산된 뒤 문제가 발생하면 환자 피해뿐 아니라 병원과 산업 전체의 신뢰가 무너질 수 있다. 신뢰를 잃은 시장에서는 우수한 기술도 도입되기 어렵다.
앞으로 의료 AI 기업의 경쟁력은 알고리즘의 정확도만으로 결정되지 않을 가능성이 크다. 어떤 데이터를 사용했는지 추적할 수 있는 능력, 환자군별 성능을 검증하는 능력, 모델 변경을 통제하는 능력, 의료진과 환자에게 한계를 설명하는 능력, 출시 후 문제를 발견하고 대응하는 능력이 함께 평가될 것이다.
규제 대응을 개발 이후의 행정업무로 취급하는 기업과 개발 전략의 일부로 포함하는 기업의 격차도 커질 수 있다. 제품을 완성한 후 필요한 문서를 뒤늦게 작성하면 데이터와 의사결정의 근거가 남아 있지 않을 수 있다. 반면 개발 초기부터 품질관리와 검증 기준을 적용하면 규제 대응 자료가 개발 과정에서 자연스럽게 축적된다. 문제를 조기에 발견해 수정할 수 있어 장기적으로는 개발 비용과 시장 진입 위험을 줄일 수 있다.
규제 대응 능력은 해외 진출에서도 중요한 자산이 된다. 미국과 유럽, 영국, 캐나다 등은 세부 규정에서 차이가 있지만 전 생애주기 관리, 양질의 데이터, 인간의 감독, 투명성, 사후 감시를 강조한다는 점에서는 공통된 방향을 보이고 있다. 한 시장의 허가서류를 다른 시장에 그대로 제출할 수는 없더라도, 국제적인 원칙에 맞춰 품질관리 체계를 갖춘 기업은 여러 국가의 요구에 더 빠르게 대응할 수 있다.
의료기관이 제품을 선택하는 기준도 바뀔 수 있다. 지금까지는 기능과 가격, 정확도가 주요 평가 요소였다면 앞으로는 개발사가 성능 자료를 얼마나 투명하게 제공하는지, 업데이트 이후에도 안전성을 보장하는지, 사고가 발생했을 때 신속하게 대응할 수 있는지가 중요해질 것이다. 보험사와 투자자도 규제 위험과 책임 구조를 기업의 지속 가능성을 판단하는 핵심 요소로 볼 가능성이 크다.
규제기관 역시 혁신을 막는 역할에 머물러서는 안 된다. 기술의 위험 수준에 따라 요구사항을 차등화하고, 기업이 준비해야 할 증거와 문서를 예측할 수 있도록 명확한 지침을 제공해야 한다. 동일한 기능을 두고 국가마다 지나치게 다른 기준을 적용하면 불필요한 비용이 발생한다. 국제적인 규제 조화와 공통 원칙이 중요한 이유다.
의료 AI의 다음 경쟁은 더 크고 복잡한 모델을 만드는 데만 있지 않다. 개발한 기술이 누구에게, 어떤 환경에서, 어떤 범위까지 안전하게 작동하는지를 입증하는 능력이 필요하다. 성능 저하와 오류를 지속적으로 발견하고, 문제가 발생했을 때 수정하거나 사용을 제한할 수 있는 운영 역량도 갖춰야 한다.
규제기관의 AI 가이드라인 확대는 의료 AI 산업에 더 많은 문서를 요구하는 행정적 변화가 아니다. 기술 중심의 개발 문화를 환자 안전과 임상적 책임을 중심으로 재구성하는 변화다. 기업에는 부담이 될 수 있지만 신뢰할 수 있는 제품과 그렇지 않은 제품을 구분하는 기준이기도 하다.
의료 AI가 실제 의료의 일부로 자리 잡기 위해서는 높은 정확도 이상의 것이 필요하다. 데이터와 검증 과정이 투명해야 하고, 의료진이 기술의 한계를 이해할 수 있어야 하며, 환자는 자신의 진료에 사용되는 AI가 어떤 역할을 하는지 알 수 있어야 한다. 문제가 발생했을 때 원인을 추적하고 책임 있게 대응할 수 있는 체계도 마련돼야 한다.
정확도는 의료 AI의 가능성을 보여준다. 그러나 검증과 설명, 감시와 책임은 그 가능성이 환자의 신뢰로 이어지게 한다. 앞으로 의료 AI 시장에서 앞서가는 기업은 가장 화려한 기술을 먼저 선보인 기업이 아니라, 기술의 안전성과 가치를 가장 오랫동안 증명할 수 있는 기업이 될 것이다.
Reference
U.S. Food and Drug Administration, January 2025, Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations.
U.S. Food and Drug Administration, June 2024, Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles.
U.S. Food and Drug Administration, August 2025, Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions.
European Union, 2024, Regulation (EU) 2024/1689 Laying Down Harmonised Rules on Artificial Intelligence.
European Commission, 2025, Interplay Between the Medical Devices Regulation, In Vitro Diagnostic Medical Devices Regulation and the Artificial Intelligence Act.
Medical AI Can No Longer Pass on Accuracy Alone
- The expansion of regulatory AI guidelines is making validation responsibility and explainability new conditions for market entry
The competitive standards for medical AI are changing rapidly. Simply presenting high accuracy is no longer enough to demonstrate that a technology is safe and trustworthy for patients. Regulatory authorities have begun examining the quality and representativeness of training data, performance in clinical environments, model change histories, and the ways in which medical professionals intervene. The core capabilities required of medical AI companies are also expanding beyond algorithm development to include regulatory competence combining validation, documentation, monitoring, and accountability management.
[Key Message]
* Competition in medical AI is shifting from accuracy-driven performance to clinical evidence. High performance figures alone are no longer sufficient; companies must demonstrate that safety and effectiveness are maintained across diverse patient populations and real-world clinical environments.
* Responsibility for validating medical AI is expanding beyond developers to hospitals and healthcare professionals. Developers must clearly define the technology?셲 limitations and intended use, while healthcare institutions must continuously assess its suitability and performance in clinical practice.
* Explainability is not about exposing every internal mechanism of an algorithm but about providing the information needed for safe decisions. Healthcare professionals and patients must be able to understand the AI system?셲 purpose, scope of use, performance, limitations, and potential for error.
* The safety of medical AI is maintained through continuous monitoring rather than a one-time authorization. Organizations must track performance deterioration caused by changing data and model updates and be prepared to revalidate the system or restrict its use when problems arise.
* Regulatory capability is becoming a new source of competitive advantage for medical AI companies. Companies that systematically manage data, clinical validation, model changes, documentation, and post-market monitoring will be better positioned to earn market trust and expand globally.
***
From Performance Competition to Evidence Competition
In the early stages of the medical AI industry, competition focused on how high a level of accuracy a system could achieve. Accuracy in detecting lesions in medical images, sensitivity and specificity in predicting disease risk, and the speed of processing data faster than medical professionals were representative indicators used to demonstrate technological capability. Some companies promoted the potential of medical AI by emphasizing results showing that their systems had achieved performance comparable to or better than that of specialists in particular tests.
In clinical practice, however, accuracy is a far more complicated figure than it may appear. High performance on test data secured during development does not guarantee that the same results will be reproduced across all hospitals and patient populations. If the age, sex, race, and disease severity of the patients used in training differ from those in the actual use environment, performance may decline. Differences in medical imaging equipment manufacturers and scanning conditions can also alter the characteristics of input data. Even for the same disease, hospitals may use different diagnostic standards and clinical procedures, which means that AI outputs may be used differently in practice.
The way regulatory authorities view medical AI is also changing to reflect this reality. The central question is no longer what percentage of accuracy a model achieved on test data. Regulators now examine the purpose for which it was developed, the patient populations in which it was validated, the environments in which its performance may deteriorate, and the level of risk that errors could create for patients. The conditions and evidence behind a performance figure have become more important than the figure itself.
The U.S. Food and Drug Administration is strengthening its approach to managing AI-enabled medical device software across the entire product lifecycle rather than evaluating it only during development and authorization. Developers are expected to explain not only the model architecture and training process, but also how training, validation, and test datasets were separated, whether those datasets adequately represent the intended users, and how the limitations and risks of the model will be managed. Plans for monitoring performance and reporting problems after the product enters the market are also becoming important areas of review.
This change shows that competition in medical AI is shifting from performance competition to evidence competition. The ability to develop a sophisticated algorithm is no longer enough. Companies must demonstrate, through reproducible evidence, that the algorithm operates safely and effectively across diverse patients and clinical environments.
Companies must therefore design their validation strategies from the earliest stages of development. It is difficult to secure the level of evidence required by regulators if a company completes product development first and only then begins collecting materials for authorization. The intended patient population, the risk the product is designed to reduce, and the position the AI will occupy within the medical decision-making process must all be defined in advance. Data should then be collected in accordance with those objectives, and differences in performance and potential failure modes across patient groups should be analyzed.
High accuracy remains important in the medical AI market. However, accuracy is only the starting point for demonstrating a product?셲 value. A system can be recognized as a trustworthy medical technology only when the process by which its performance was achieved, the scope within which it can be used, its clinical effectiveness, and its risks can all be demonstrated together.
Validation Responsibility Is Expanding Beyond Developers
Medical AI does not operate as an independent clinician. It connects with hospital information systems, influences the judgments of medical professionals, and becomes part of patient testing and treatment processes. Even the same product may produce different outcomes depending on the hospital in which it is used, the person using it, and the way it is incorporated into practice. This is why the safety of medical AI cannot be viewed solely as a matter of the algorithm itself.
Under traditional medical device regulation, manufacturers were primarily responsible for demonstrating the safety and effectiveness of their products. Developers and manufacturers still bear central responsibility in medical AI, but the roles of hospitals and healthcare professionals inevitably become greater during actual operation. If a hospital arbitrarily expands the intended use of a product or applies it to patient groups that were not included in validation, the safety established at the time of authorization may no longer be maintained. New risks may also arise if medical professionals treat AI outputs as absolute conclusions or, conversely, repeatedly ignore necessary warnings.
The validation of medical AI therefore cannot end with a single premarket test conducted by the manufacturer. Hospitals adopting the technology must also determine whether it is suitable for their patient populations, equipment, and workflows. They must continuously assess whether the system actually improves the quality of care compared with existing methods, whether errors are concentrated in particular patient groups, and whether medical professionals correctly understand the outputs.
The scope of responsibility is also expanding to data providers and external technology companies. The development of medical AI may involve a complex combination of clinical data generated by hospitals, externally purchased datasets, cloud infrastructure, and general-purpose AI models. If the source of data is unclear or labeling standards are inconsistent, the performance and fairness of the model are difficult to trust. When a general-purpose model is modified for medical use, organizations must also assess how changes and updates to the original model could affect medical functions.
In such a structure, responsibility cannot be assigned to a single company or department. Development teams must explain the technical characteristics and limitations of the model, while clinical teams must assess its meaning in actual care. Quality management departments must record changes and errors, and regulatory teams must verify that submission materials and operational procedures satisfy regulatory requirements. Within hospitals, clinicians, information technology personnel, medical device management departments, and ethics and legal teams must jointly establish standards for adoption and operation.
The boundaries of responsibility are becoming even more complex as generative AI enters healthcare. An AI system that summarizes medical records or drafts patient information may appear less risky than a diagnostic AI system. However, if it presents incorrect information in fluent language or omits important medical details, it can still influence clinical care. Even when the principle is established that medical professionals must review AI-generated output, heavy workloads may reduce that review to a merely formal procedure.
The purpose of a medical AI accountability framework is not limited to deciding who is liable after a problem occurs. More importantly, it should clearly define what each participant must do to identify and control risks in advance. Developers must specify the intended scope and limitations of the product. Hospitals must ensure that actual use remains consistent with the authorized purpose. Medical professionals must evaluate AI outputs within the clinical context and be able to report suspicious results.
The expansion of validation responsibility in medical AI does not mean that responsibility becomes so widely distributed that no one is accountable. It means that responsible parties and verification procedures must be defined more clearly at every stage, from development to use. As technology becomes more deeply integrated into healthcare systems, safety will be secured not through a one-time approval but through a management structure linking multiple participants.
Explainability Is Clinical Information, Not a Technical Explanation
Explainability is one of the most frequently used terms in medical AI regulation. Yet there are still differing interpretations of what explainability actually means. Some believe that AI should disclose every computational step that led to a conclusion, while others argue that it is sufficient to provide evidence that medical professionals can understand.
Fully explaining the internal operation of a complex deep learning model is not easy in practice. Because millions or more parameters interact to generate an output, it is difficult to summarize the cause of a particular result in one or two sentences. Technologies can visualize internal calculations or indicate the importance of specific inputs, but this does not necessarily amount to a clinically valid explanation. Even if a model shows that it focused on a particular region of an image, that region must still be evaluated separately to determine whether it constitutes medically appropriate evidence.
The explanation required in medical AI should focus less on revealing every internal detail of the model and more on providing the information users need to make safe judgments. Medical professionals must know which patients and diseases the AI was developed for, the situations in which it should not be used, and the input conditions under which its performance may decline. It must also be clear whether the output represents a definitive diagnosis or a reference opinion, and whether additional confirmation by a medical professional is required.
The information patients need may differ from the information required by clinicians. Patients may want to know whether AI was used in their care, how much influence its judgment had on a treatment decision, and how they can raise an objection if an error occurs. Developers tend to focus on explaining the structure and training method of a model, but information about patient rights and the treatment process may be more important to patients.
The transparency principles jointly presented by the U.S. Food and Drug Administration, Health Canada, and the United Kingdom?셲 Medicines and Healthcare products Regulatory Agency also emphasize delivering information at the appropriate time and in an appropriate form to users, including medical professionals, patients, and healthcare institutions, rather than merely disclosing it. Information affecting patient safety and decision-making, such as the product?셲 purpose, performance, limitations, data characteristics, updates, and potential errors, must be provided in a way that each audience can understand.
Explainability is also not the same as increasing the volume of documentation. Even if hundreds of pages of technical materials are provided, it cannot be considered effective explanation if medical professionals cannot quickly locate the information they need. Conversely, displaying too many warnings on the screen may create alert fatigue, causing users to ignore repeated notices. The user experience must be designed so that necessary information is delivered at the moment when an actual decision is being made.
For example, when a diagnostic imaging AI indicates the probability of an abnormality, it is more useful to provide not only a risk score but also an explanation of what the score was designed to measure, how the result changes depending on the threshold, and which patient populations have not been sufficiently validated. Medical professionals must be able to reject the AI?셲 recommendation, and there should also be a structure for recording that decision and using it to improve future performance.
Explainability is a mechanism that protects not only patient safety but also the responsibility of healthcare professionals. It is not appropriate to place all decision-making responsibility on clinicians when they have not been provided with sufficient information about the conditions under which the AI operates or the level of reliability it offers. Companies supplying the product must provide information that is clear enough for medical professionals to make reasonable judgments.
Some argue that explainability may hinder innovation in medical AI. However, not every technology that cannot be fully explained is necessarily dangerous, and a technology is not necessarily safe simply because it can be explained. What matters is providing a level and form of explanation appropriate to the intended use and level of risk. In medical AI, explainability is not a demand to simplify algorithms. It is the process of translating the performance and limitations of technology into information needed for clinical decision-making.
Continuous Monitoring Is More Important Than a One-Time Authorization
Traditional medical devices often remained functionally unchanged after authorization. AI software, however, can change in performance as data and algorithms change. A model may be retrained with new data or improved with additional functions, and changes in operating systems or hospital systems can also affect its results.
The capacity for learning and improvement, often regarded as one of AI?셲 greatest strengths, therefore creates a new regulatory challenge. If the model used in practice differs from the model that was originally authorized, the earlier validation results may no longer apply. Yet requiring a complete reauthorization process for every minor change could excessively delay technological improvement.
This is why the U.S. Food and Drug Administration has developed the concept of a predetermined change control plan. Developers may specify in advance which parts of a product may be changed after authorization, how those changes could affect performance and risk, and how the modified model will be validated and managed. If the regulatory authority considers the plan appropriate, the company may improve the model within the defined scope while continuing to manage safety and effectiveness.
However, changes that could not be anticipated in advance may also occur. If a new disease spreads in a particular region, or patient lifestyles and healthcare environments change, the distribution of input data may shift. The introduction of new imaging equipment or changes in testing protocols can also expose a model to unfamiliar data. Data drift and model drift may emerge as performance that was stable during training gradually deteriorates over time.
Post-market monitoring is therefore essential for medical AI. Organizations must examine not only overall performance but also whether error rates differ according to sex, age, race, region, and disease severity. In addition to user complaints and incident reports, the frequency with which medical professionals override AI recommendations and the circumstances in which use is discontinued may also provide important signals.
Procedures must also be established for responding when monitoring identifies a problem. A simple software error may be resolved through an update, but if a particular patient group is consistently disadvantaged, the scope of use may need to be restricted or the model may need to undergo renewed validation. If a serious risk to patient safety is anticipated, it may be necessary to suspend use of the product temporarily.
European Union AI regulation also treats many AI systems used for medical purposes as high-risk systems and identifies risk management, data governance, technical documentation, record keeping, user information, human oversight, and post-market monitoring as important requirements. The AI Act entered into force in August 2024, and a structure is emerging in which medical device regulation and AI regulation apply together to high-risk medical AI.
Continuous monitoring also changes the way companies manage quality. Organizations must move away from a linear development process in which the development team completes the model and then hands it over to regulatory personnel. A circular structure is required in which data and user experience collected after the product enters the market are fed back into development and validation.
Hospitals likewise cannot remain passive consumers that simply purchase and install AI systems. They must maintain internal inventories of AI products, manage versions and update histories, and collect information on performance anomalies and user feedback. The more important the medical decisions supported by a system, the greater the need for periodic reassessment and clearly defined criteria for discontinuing use.
Authorization in the age of medical AI is not a permanent guarantee of safety. It is closer to a starting point confirming that safety and effectiveness were demonstrated at a particular time and under particular conditions. Because technology, data, and clinical environments continue to change, trust must also be continuously verified and renewed.
Regulatory Capability Is Becoming a Competitive Advantage in Medical AI
Stronger regulation may create a substantial burden for medical AI companies. Securing clinical evidence across diverse patient groups, managing the sources and quality of data, and documenting development processes and change histories require considerable time and expense. For smaller startups, regulatory costs may feel like a greater barrier than the cost of technology development itself.
Nevertheless, viewing regulation only as an obstacle fails to reflect the characteristics of the medical AI market. Medical technologies directly affect patient health and survival. If an inadequately validated product spreads rapidly and later causes harm, the result may be not only patient injury but also a collapse of trust in hospitals and the industry as a whole. In a market that has lost trust, even excellent technologies will struggle to gain adoption.
The competitiveness of medical AI companies is therefore unlikely to be determined by algorithmic accuracy alone. The ability to trace which data were used, validate performance across patient groups, control model changes, explain limitations to healthcare professionals and patients, and detect and respond to problems after market entry will all be evaluated together.
The gap may also widen between companies that treat regulatory compliance as an administrative task after development and those that incorporate it into their development strategies. When documentation is prepared only after a product has been completed, the evidence behind data selection and development decisions may no longer be available. In contrast, companies that apply quality management and validation standards from the beginning can accumulate regulatory evidence naturally throughout the development process. Problems can also be identified and corrected earlier, reducing development costs and market entry risks over the long term.
Regulatory capability also becomes a valuable asset in international expansion. The United States, European Union, United Kingdom, Canada, and other jurisdictions differ in their detailed requirements, but they share a common emphasis on lifecycle management, high-quality data, human oversight, transparency, and post-market monitoring. Even if authorization documents from one market cannot be submitted unchanged in another, companies that build quality systems around international principles can respond more quickly to the requirements of multiple countries.
The criteria used by healthcare institutions to select products may also change. Functions, price, and accuracy have traditionally been major evaluation factors, but hospitals may increasingly focus on how transparently developers provide performance data, whether safety can be maintained after updates, and whether the company can respond quickly when an incident occurs. Insurers and investors may likewise regard regulatory risk and accountability structures as central indicators of corporate sustainability.
Regulatory authorities must also avoid remaining merely as institutions that block innovation. They should differentiate requirements according to the level of technological risk and provide clear guidance so that companies can predict the evidence and documentation they need to prepare. If different countries apply excessively divergent standards to the same function, unnecessary costs will arise. This is why international regulatory alignment and shared principles are important.
The next stage of competition in medical AI is not limited to building larger and more complex models. Companies must be able to demonstrate who can safely use the technology, in which environments, and within what boundaries. They must also possess the operational capability to continuously identify performance deterioration and errors and to modify or restrict use when problems arise.
The expansion of regulatory AI guidelines is not simply an administrative change requiring the medical AI industry to produce more documents. It is a transformation that reorganizes technology-centered development culture around patient safety and clinical accountability. It may create additional burdens for companies, but it also provides a standard for distinguishing trustworthy products from those that are not.
For medical AI to become an established part of healthcare, it needs more than high accuracy. Data and validation processes must be transparent, medical professionals must be able to understand the limitations of the technology, and patients must be able to know what role AI plays in their care. Systems must also be established to trace causes and respond responsibly when problems occur.
Accuracy demonstrates the potential of medical AI. Validation, explanation, monitoring, and accountability allow that potential to become patient trust. The companies that lead the medical AI market in the future will not be those that present the most impressive technology first, but those that can demonstrate the safety and value of their technology for the longest period of time.
Reference
U.S. Food and Drug Administration, January 2025, Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations.
U.S. Food and Drug Administration, June 2024, Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles.
U.S. Food and Drug Administration, August 2025, Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions.
European Union, 2024, Regulation (EU) 2024/1689 Laying Down Harmonised Rules on Artificial Intelligence.
European Commission, 2025, Interplay Between the Medical Devices Regulation, In Vitro Diagnostic Medical Devices Regulation and the Artificial Intelligence Act.