북집 지식DB

설명하는 AI가 더 위험할 수 있다

AI가 판단의 이유를 설명하면 사람들은 그 결정을 더 투명하고 공정하다고...

설명하는 AI가 더 위험할 수 있다

- 투명성이 만드는 신뢰와 공정성의 착시

AI가 판단의 이유를 설명하면 사람들은 그 결정을 더 투명하고 공정하다고 받아들인다. 그러나 이해하기 쉬운 설명이 판단의 정확성과 공정성을 보장하는 것은 아니다. AI 거버넌스의 기준은 ‘설명했는가’에서 ‘검증할 수 있는가’로 이동해야 한다.

[Key Message]

* AI가 판단 이유를 설명한다고 해서 그 결정의 정확성과 공정성까지 보장되는 것은 아니다.

* 그럴듯하고 정교한 설명은 이용자의 경계심을 낮춰 편향된 판단을 합리적인 결과로 받아들이게 할 수 있다.

* 설명 가능성은 AI의 작동 방식을 이해하는 수단이며, 공정성은 실제 결과가 특정 집단에 부당한 불이익을 주는지 검증하는 문제다.

* 책임 있는 AI를 위해서는 설명뿐 아니라 집단별 오류 측정, 편향 감사, 독립적 검증, 인간의 재검토와 이의 제기 절차가 필요하다.

* AI 거버넌스의 목표는 시스템을 더 쉽게 믿게 만드는 것이 아니라, 그 판단을 독립적으로 검증하고 잘못을 바로잡을 수 있도록 만드는 데 있다.

***

블랙박스를 열라는 요구

인공지능이 사람의 일상과 조직의 의사결정 안으로 깊숙이 들어오면서 새로운 질문이 제기됐다. AI가 얼마나 정확한가를 넘어, 왜 그런 판단을 내렸는지를 설명할 수 있는가라는 질문이다. 대출 신청을 거절하고, 보험료를 다르게 책정하며, 입사 지원자의 순위를 매기고, 환자의 질병 가능성을 예측하는 시스템이라면 결과만 제시해서는 충분하지 않다는 인식이 커졌다. 판단의 근거를 알 수 없는 AI는 아무리 성능이 뛰어나더라도 신뢰하기 어렵다는 이유에서였다.

전통적인 통계 모형은 비교적 단순한 관계를 사용했다. 어떤 변수가 결과에 얼마나 영향을 미쳤는지 사람이 추적하기 쉬웠다. 그러나 머신러닝과 딥러닝이 확산되면서 상황이 달라졌다. 수백 개에서 수십억 개에 이르는 변수와 매개변수가 복잡하게 상호작용하며 결과를 만들어냈다. 개발자조차 특정 결과가 어떤 경로를 거쳐 나왔는지 명확히 설명하기 어려워졌다. 정확도는 높아졌지만 판단 과정은 불투명해졌다. 이른바 ‘블랙박스’ 문제가 본격적으로 등장한 배경이다.

블랙박스 문제에 대응하기 위해 설명 가능한 AI, 즉 XAI가 주목받았다. XAI는 복잡한 모델의 판단을 사람이 이해할 수 있는 형태로 보여주는 기술과 방법을 뜻한다. 특정 대출 신청이 거절됐을 때 소득, 부채, 연체 기록 가운데 무엇이 가장 큰 영향을 미쳤는지 알려주거나, 의료 영상에서 AI가 어느 부위를 근거로 이상 징후를 판단했는지 표시하는 방식이다. 모델 전체의 작동 원리를 보여주기도 하고, 특정한 한 번의 결정에 영향을 준 요인을 설명하기도 한다.

설명 가능성은 책임 있는 AI를 구성하는 중요한 요소로 자리 잡았다. 기업에는 AI의 판단을 내부적으로 점검할 수 있는 수단이 됐고, 이용자에게는 불리한 결정의 원인을 이해하고 이의를 제기할 수 있는 통로가 됐다. 감독기관도 AI가 차별이나 불공정한 결과를 만들어내지 않는지 확인하기 위해 설명 도구를 활용하기 시작했다. 투명성과 설명 가능성은 공정성, 책임성, 개인정보 보호와 함께 AI 거버넌스의 핵심 원칙으로 제시됐다.

문제는 설명 가능성이 기대보다 훨씬 복잡한 개념이라는 데 있다. AI의 내부 작동을 완전히 공개하는 것과 사람이 이해할 수 있는 요약을 제공하는 것은 다르다. 개발자를 위한 기술적 설명과 소비자에게 필요한 설명도 같지 않다. 특정 변수가 중요하다고 보여주는 것과 그 변수가 왜 중요해졌는지 밝히는 것도 별개의 일이다. 무엇보다 AI가 설명을 제공한다는 사실과 AI의 판단이 공정하다는 사실은 동일하지 않다.

설명 가능한 AI에 대한 초기 기대에는 단순한 전제가 숨어 있었다. 블랙박스를 열어 내부를 볼 수 있다면 오류와 편향도 발견할 수 있을 것이라는 믿음이었다. 그러나 현실에서 사용되는 설명은 모델의 내부를 있는 그대로 보여주는 투명한 창이라기보다, 복잡한 움직임을 사람이 이해할 수 있도록 단순화한 지도에 가깝다. 지도는 유용하지만 현실의 모든 요소를 담지는 못한다. 무엇을 표시하고 무엇을 생략하느냐에 따라 같은 지역도 전혀 다르게 보일 수 있다.

2026년 5월 Knowledge at Wharton이 소개한 연구는 이 지점에서 경고를 제기했다. 연구진은 널리 사용되는 머신러닝 해석 도구가 차별적인 모델을 중립적인 것처럼 보이게 할 수 있다는 사실을 보여줬다. 설명이 부족해서 생기는 문제가 아니라, 설명이 존재하기 때문에 오히려 잘못된 확신이 형성될 수 있다는 의미였다. 투명성을 강화하려고 만든 도구가 편향을 발견하는 창구가 아니라 편향을 가리는 장치로 바뀔 가능성이 드러났다.

이는 설명 가능한 AI가 불필요하다는 주장이 아니다. 설명만 확보하면 책임성과 공정성까지 자연스럽게 따라올 것이라는 믿음이 위험하다는 지적이다. 블랙박스에 창을 하나 달았다고 해서 내부 전체가 보이는 것은 아니다. 그 창이 어디를 향하고 있는지, 무엇을 가리고 있는지, 보이는 장면이 실제 작동을 얼마나 충실하게 반영하는지까지 확인해야 한다.

설명이 만드는 신뢰의 착시

사람은 결론만 제시된 판단보다 이유가 따라붙은 판단을 더 신뢰하는 경향이 있다. “대출 신청이 거절됐습니다”라는 통보보다 “부채 비율과 최근 연체 기록 때문에 대출이 거절됐습니다”라는 설명이 더 합리적으로 느껴진다. 결과가 마음에 들지 않더라도 어떤 기준이 적용됐는지 알게 되면 판단을 받아들일 가능성이 커진다. 설명은 불확실성을 줄이고 의사결정에 질서가 있다는 인상을 준다.

이러한 심리는 AI에도 적용된다. AI가 근거를 제시하면 이용자는 시스템이 충분한 데이터를 분석했고, 일관된 기준에 따라 판단했으며, 숨겨진 편견 없이 작동했다고 추정하기 쉽다. 설명이 구체적이고 시각적으로 정교할수록 신뢰는 더 높아질 수 있다. 변수의 중요도를 나타내는 그래프, 색상으로 구분된 위험도, 정밀한 확률 수치가 제시되면 결과는 객관적인 과학의 산물처럼 보인다.

그러나 정교한 표현과 판단의 정당성은 같은 것이 아니다. 78.4%와 같은 소수점 단위의 수치가 제시됐다고 해서 예측이 실제로 그만큼 정확하다는 보장은 없다. 깔끔한 그래프가 제공됐다고 해서 모델이 편향되지 않았다는 뜻도 아니다. 설명의 형식이 전문적일수록 이용자는 그 이면의 가정과 한계를 질문하기보다 결과를 받아들이기 쉬워진다.

AI 설명은 크게 모델 자체를 이해하기 쉬운 구조로 만드는 방식과, 복잡한 모델의 결과를 나중에 해석하는 방식으로 나뉜다. 단순한 의사결정나무처럼 내부 구조를 직접 살펴볼 수 있는 모델도 있지만, 현실에서는 높은 예측 성능을 위해 복잡한 블랙박스 모델을 사용한 뒤 별도의 해석 도구를 붙이는 경우가 많다. 이때 설명은 모델이 실제로 거친 모든 계산 과정을 그대로 번역한 기록이 아니다. 모델의 입력과 출력 관계를 분석해 사람이 이해할 수 있는 근사적 설명을 만들어낸다.

사후 설명은 복잡성을 줄여준다는 점에서 유용하다. 하지만 근사에는 손실이 따른다. 같은 결과도 어떤 해석 방법을 선택하느냐에 따라 다르게 설명될 수 있고, 분석 범위와 기준값을 어떻게 설정하느냐에 따라 중요 변수의 순서가 달라질 수 있다. 특정 개인에 대한 설명과 전체 집단에 대한 설명이 서로 다른 인상을 줄 수도 있다. 설명은 하나의 절대적인 진실이라기보다 특정한 관점에서 모델을 바라본 결과에 가깝다.

연구진이 주목한 부분 의존성 도표도 대표적인 해석 방법이다. 부분 의존성 도표는 다른 조건의 영향을 평균적으로 통제하면서 특정 변수가 예측 결과에 어떤 영향을 미치는지 보여준다. 예를 들어 나이가 자동차 보험료 예측에 어떤 영향을 주는지 곡선으로 나타낼 수 있다. 곡선이 연령에 따라 크게 오르내리지 않는다면 모델이 나이를 거의 차별적으로 사용하지 않는다는 인상을 줄 수 있다.

하지만 이 도표는 현실에 존재하지 않거나 매우 드문 데이터 조합에 대한 예측을 포함할 수 있다. 변수들이 서로 밀접하게 연관돼 있는데 한 변수만 독립적으로 바꿔 계산하면 실제 데이터 분포에서 벗어난 가상 사례가 만들어지기 때문이다. 모델은 현실의 관측값에서는 차별적인 예측을 유지하면서도, 이런 가상 영역의 예측값을 조정해 전체 그래프를 평평하고 중립적으로 보이게 할 수 있다.

연구진은 바로 이 취약점을 이용하는 적대적 방법을 설계했다. 원래 모델이 현실의 사례에 내리는 예측은 거의 그대로 유지하면서, 설명 도구가 참조하는 외삽 영역의 예측을 바꿨다. 그 결과 실제로는 특정 집단에 불리하게 작동하는 모델이 부분 의존성 도표에서는 중립적인 것처럼 나타났다. 모델의 차별적 행동이 사라진 것이 아니라, 설명 화면에서만 보이지 않게 된 것이다.

더 우려되는 점은 이러한 문제가 반드시 악의적인 조작을 통해서만 발생하는 것이 아니라는 사실이다. 연구는 의도적으로 설명을 속일 수 있음을 보여줬지만, 같은 취약성은 잘못된 분석 범위, 데이터 상관관계에 대한 이해 부족, 부적절한 시각화, 편리한 해석 도구의 기계적인 적용을 통해서도 나타날 수 있다. 개발자나 담당자가 편향을 숨길 의도가 없더라도 불완전한 설명이 공정성의 증거처럼 받아들여질 수 있다.

설명은 사람을 돕는 동시에 사람의 경계심을 낮춘다. 아무 설명도 없는 시스템을 마주하면 이용자는 의심부터 한다. 반면 그럴듯한 이유가 제공되면 더 이상 질문할 필요가 없다고 느낄 수 있다. 이런 심리적 효과 때문에 부정확한 설명은 설명이 없는 상태보다 더 위험할 수 있다. 불투명한 AI는 경계의 대상이지만, 잘못 설명된 AI는 신뢰의 대상이 되기 때문이다.

설명 가능성과 공정성의 간극

AI 거버넌스를 논할 때 투명성, 설명 가능성, 공정성, 책임성은 자주 한데 묶인다. 모두 신뢰할 수 있는 AI를 위한 원칙이지만 서로 대신할 수 있는 개념은 아니다. 설명 가능성은 AI가 어떻게 판단했는지 이해할 수 있도록 만드는 성질이다. 공정성은 그 판단이 특정 개인이나 집단에 부당한 불이익을 주지 않는지에 관한 기준이다. 책임성은 문제가 발생했을 때 누가 판단을 검토하고 바로잡으며 책임을 질 것인지에 관한 구조다.

설명 가능한 모델도 불공정할 수 있다. 과거의 채용 데이터를 학습한 AI가 남성 지원자를 더 높은 성과 가능성이 있는 사람으로 평가한다고 가정해 보자. 시스템은 근속연수, 경력 분야, 이전 직급, 특정 활동 경험 등이 중요한 변수였다고 명확하게 설명할 수 있다. 그러나 해당 변수들이 과거의 성별 불평등과 구조적으로 연결돼 있다면 설명이 명확하더라도 결과는 공정하지 않을 수 있다. 설명은 차별이 어떤 경로로 작동하는지를 보여줄 수 있지만, 차별을 자동으로 제거하지는 않는다.

민감한 변수를 삭제한다고 문제를 해결할 수도 없다. 성별이나 인종을 입력 데이터에서 제외하더라도 거주 지역, 학교, 직업 이력, 소득 수준처럼 민감한 특성과 밀접하게 연관된 대리변수가 남아 있을 수 있다. AI는 이런 변수들의 조합을 통해 사실상 제외된 정보를 다시 추론한다. 설명 화면에는 성별이라는 항목이 나타나지 않지만, 모델은 성별과 강하게 연결된 정보를 이용해 유사한 차이를 만들어낼 수 있다.

보험료 산정도 같은 문제를 보여준다. 보험사는 사고 가능성을 정확히 예측해 위험에 맞는 가격을 책정하려 한다. 그러나 정확도를 높이는 변수 가운데 일부는 개인이 통제하기 어렵거나 사회경제적 불평등과 연결돼 있을 수 있다. 우편번호는 교통환경이나 사고율을 반영할 수 있지만, 소득과 인종적 분리를 우회적으로 반영할 수도 있다. 시스템이 우편번호가 보험료에 영향을 미쳤다고 솔직하게 설명하더라도 그 가격이 사회적으로 공정한지는 별도로 판단해야 한다.

공정성 자체도 하나의 숫자로 정의하기 어렵다. 서로 다른 집단의 승인율을 같게 만들 것인지, 실제 상환 능력이 같은 사람에게 같은 승인 확률을 부여할 것인지, 집단별 오류율을 같게 할 것인지에 따라 결과가 달라진다. 어떤 공정성 기준을 강화하면 다른 기준이 약해지는 경우도 있다. 따라서 공정성은 해석 도구가 자동으로 판정할 수 있는 기술적 속성이 아니라, 조직이 목적과 영향, 법적 의무, 사회적 가치를 고려해 선택해야 하는 규범적 문제다.

정확성과 공정성 사이에도 세심한 검토가 필요하다. AI 개발 조직은 흔히 전체 예측 정확도를 최적화한다. 그러나 전체 정확도가 높더라도 소수 집단에서 오류가 집중될 수 있다. 지원자의 95%를 정확하게 평가하는 채용 AI가 특정 집단의 우수 인재를 반복적으로 탈락시킨다면 평균 성능만으로 시스템의 품질을 판단할 수 없다. 전체 평균은 집단 간 격차를 가릴 수 있다.

설명 도구도 평균을 사용하는 경우가 많다. 부분 의존성 도표는 특정 변수가 예측에 미치는 평균적인 영향을 보여준다. 평균적인 곡선이 안정적이라고 해서 모든 집단과 개인에게 같은 방식으로 작동한다는 뜻은 아니다. 서로 반대 방향으로 나타나는 집단별 효과가 평균 안에서 상쇄될 수도 있다. 일부 사람에게는 큰 불이익을 주고 다른 사람에게는 이익을 주는 변수가 전체 그래프에서는 거의 영향이 없는 것처럼 보일 수 있다.

연구진은 자동차 보험 청구 데이터와 범죄 재범 위험을 예측하는 COMPAS 데이터를 이용해 이러한 취약성을 살폈다. COMPAS는 형사사법 영역에서 피고인의 재범 위험을 평가하는 데 활용돼 알고리즘 편향 논쟁의 대표 사례가 된 시스템이다. 연구 결과는 실제 예측 대부분을 유지하면서도 부분 의존성 도표를 조작해 차별적 관계를 감출 수 있음을 보여줬다. 설명 도구가 중립적인 그림을 제시하더라도 모델의 실제 판단은 여전히 특정 집단에 불리할 수 있었다.

이 결과가 중요한 이유는 기술적 공격 가능성에만 있지 않다. 많은 조직이 설명 보고서나 변수 중요도 그래프를 AI 공정성의 증거로 활용하고 있기 때문이다. 감사 담당자와 경영진이 몇 장의 시각화 자료를 보고 민감한 변수가 결과에 큰 영향을 미치지 않는다고 판단한다면, 실제 데이터에서 발생하는 차별을 놓칠 수 있다. 설명 가능성 도구가 검증을 돕는 보조 수단에서 공정성을 인증하는 도장으로 바뀌는 순간 착시가 시작된다.

투명성은 공정성을 살펴보기 위한 조건 가운데 하나다. 무엇이 일어나는지 전혀 알 수 없다면 문제를 발견하기 어렵다. 그러나 볼 수 있다는 사실만으로 보이는 내용이 정확하거나 충분하다고 판단해서는 안 된다. 설명이 보여주는 범위와 보여주지 않는 범위, 설명 방법이 전제한 데이터 조건, 다른 해석 도구를 적용했을 때에도 같은 결론이 나오는지를 함께 확인해야 한다.

투명성이 면책 장치가 될 때

기업이 AI를 도입하면서 가장 먼저 찾는 것은 실행 가능한 기준이다. 공정하고 책임 있는 AI를 만들라는 원칙은 옳지만 추상적이다. 반면 설명 기능을 제공하라는 요구는 비교적 구체적이다. 변수 중요도 보고서를 만들고, 이용자에게 결정 사유를 알려주며, 모델 설명 화면을 구축하면 준수 여부를 확인할 수 있다. 이 때문에 설명 가능성이 책임 있는 AI의 대표 지표로 자리 잡기 쉬웠다.

하지만 측정하기 쉬운 지표가 중요한 목표를 대신하면 조직의 행동도 지표에 맞춰진다. AI의 사회적 영향을 충분히 점검하는 것보다 설명 보고서를 만드는 일이 우선될 수 있다. 공정한 결과를 만드는 것보다 공정해 보이는 그래프를 제출하는 일이 쉬울 수도 있다. 설명 가능성이 체크리스트의 한 항목으로 축소되면 AI 거버넌스는 실제 위험을 줄이는 활동이 아니라 서류를 완성하는 절차로 변한다.

이런 상황에서는 투명성이 면책 장치처럼 사용될 수 있다. 기업은 AI가 어떤 정보를 활용하는지 공개했고, 이용자에게 결과의 이유를 설명했으며, 내부적으로 해석 도구를 적용했다고 주장할 수 있다. 문제가 발생해도 “설명 가능한 시스템이었다”는 사실을 책임을 다했다는 근거로 내세울 수 있다. 그러나 설명이 부정확하거나 불완전했다면 형식적인 공개가 실질적인 책임을 대신한 셈이 된다.

설명을 받은 이용자에게 책임이 전가될 가능성도 있다. 기업이 판단 근거를 제공했으니 이용자가 내용을 이해하고 이의를 제기해야 한다는 논리가 형성될 수 있다. 하지만 기술적 지식이 없는 사람은 복잡한 변수 중요도와 확률 수치를 검증하기 어렵다. 설명서를 받았다는 사실과 판단을 실질적으로 다툴 수 있다는 것은 다르다. 불리한 결정을 받은 사람에게 설명만 제공하고 검토 절차나 구제 수단을 마련하지 않는다면 투명성은 권리를 보장하지 못한다.

더 많은 정보를 공개하는 것이 언제나 더 나은 것도 아니다. 지나치게 복잡한 설명은 핵심 문제를 가릴 수 있다. 수십 개의 그래프와 기술 용어, 모델 성능 지표를 제시하면 조직은 투명해 보이지만 이용자는 무엇을 확인해야 하는지 알기 어렵다. 정보가 없어서가 아니라 정보가 너무 많고 구조화되지 않아 판단할 수 없는 상황이 만들어진다. 공개의 양보다 중요한 것은 의사결정에 필요한 정보를 이해하고 검증할 수 있는 형태로 제공하는 일이다.

상업적 이해관계도 고려해야 한다. 모델을 개발한 기업은 자사의 AI가 정확하고 공정하다는 사실을 보여주려 한다. 설명 도구를 선택하고 분석 범위를 정하며 결과를 시각화하는 주체가 모델 운영자와 동일하다면 유리한 설명만 제시할 유인이 생긴다. 의도적인 조작이 없더라도 조직은 문제를 드러내는 결과보다 안정적으로 보이는 결과를 선호할 수 있다. 내부 보고 과정에서 불편한 지표가 제외되거나 평균값에 묻힐 가능성도 있다.

이러한 현상은 ‘투명성 세탁’으로 이어질 수 있다. 환경 성과를 과장하는 그린워싱처럼, 실질적인 개선 없이 설명 기능과 윤리 원칙을 강조해 책임 있는 AI라는 이미지를 만드는 것이다. 모델 카드, 윤리 선언문, 설명 화면은 필요하지만 그것만으로 데이터의 편향과 의사결정의 피해가 사라지지는 않는다. 공개된 자료가 실제 운영을 충실하게 반영하는지 검증하지 않으면 투명성은 신뢰를 얻기 위한 홍보 수단이 될 수 있다.

자동차 보험과 형사사법 데이터를 활용한 연구는 설명 도구가 기술적으로도 속을 수 있다는 점을 보여줬다. 차별적 예측은 거의 그대로 유지하면서 공정해 보이는 설명을 만들 수 있다면, 설명 보고서만으로 모델을 승인하는 절차는 충분하지 않다. 감사자는 설명 결과를 소비하는 데 그치지 않고 설명이 만들어진 방법, 데이터 분포, 외삽 영역, 변수 간 상관관계까지 살펴야 한다.

경영진의 역할도 달라져야 한다. “설명 가능한 AI인가”라는 질문은 너무 넓고 단순하다. 어떤 사람을 위해 어떤 설명을 제공하는지, 설명이 실제 모델 행동과 얼마나 일치하는지, 다른 방법으로 재검증했는지, 불리한 결과를 받은 사람이 이의를 제기할 수 있는지 물어야 한다. 설명 자료가 존재한다는 보고만 받고 시스템의 책임성을 승인해서는 안 된다.

규제기관 역시 특정 설명 도구의 사용을 의무화하는 방식에만 의존하기 어렵다. 하나의 표준 도구가 규제 요건으로 굳어지면 기업은 해당 도구에서 좋은 결과를 얻는 데 집중할 수 있다. 연구에서 보여준 것처럼 해석 방법에는 각각의 가정과 취약점이 있다. 규제는 설명의 형식보다 결과의 검증 가능성, 차별적 영향, 기록 보존, 외부 감사, 이의 제기권처럼 여러 층위의 책임 구조를 요구해야 한다.

설명을 넘어서는 검증 체계

신뢰할 수 있는 AI를 만들기 위해 설명은 필요하지만 충분하지 않다. 설명 결과를 다른 증거와 결합해 검증하는 체계가 필요하다. 조직은 모델을 개발하는 단계부터 배포하고 운영하는 단계까지 데이터, 성능, 공정성, 인간의 개입, 피해 구제 절차를 함께 관리해야 한다. 한 번의 설명 보고서가 아니라 지속적인 검증 과정이 AI 거버넌스의 중심이 돼야 한다.

첫째, 설명 방법을 하나만 사용해서는 안 된다. 부분 의존성 도표, 변수 중요도, 개별 예측 설명, 반사실적 설명 등은 서로 다른 질문에 답한다. 한 도구에서 민감한 관계가 보이지 않는다고 해서 다른 방식에서도 같은 결과가 나오는 것은 아니다. 여러 해석 방법을 함께 적용하고 결과가 서로 일치하는지 비교해야 한다. 결과가 다르다면 어느 설명이 옳은지를 성급하게 선택하기보다 차이가 발생한 원인을 분석해야 한다.

둘째, 설명 도구가 전제하는 조건을 점검해야 한다. 변수 사이의 상관관계가 강한지, 실제 데이터가 존재하지 않는 영역으로 예측이 확장되는지, 평균값이 집단별 차이를 가리고 있지 않은지 확인해야 한다. 부분 의존성 도표를 사용할 때는 현실적인 데이터 영역과 외삽 영역을 구분해 표시하고, 데이터가 희박한 구간의 설명을 공정성 판단의 근거로 삼지 않아야 한다.

셋째, 설명이 아니라 실제 결과를 직접 측정해야 한다. 집단별 승인율, 거절률, 오탐률, 미탐률, 예측 오차, 비용 부담을 비교하면 모델이 현실에서 누구에게 어떤 영향을 미치는지 확인할 수 있다. 보험 AI라면 성별, 연령, 지역, 소득 수준에 따라 보험료와 오류가 어떻게 달라지는지 살펴야 한다. 채용 AI라면 지원자의 집단별 통과율뿐 아니라 실제 성과가 비슷한 사람들에게 동일한 기회가 주어지는지 확인해야 한다.

넷째, 평균 성능을 세분화해야 한다. 전체 정확도나 평균 손실값은 일부 집단의 문제를 숨길 수 있다. 데이터가 적은 소수 집단일수록 전체 지표에 미치는 영향이 작아 오류가 지속돼도 눈에 띄지 않는다. 조직은 주요 하위 집단별 성능을 따로 측정하고, 데이터가 부족해 신뢰할 수 있는 평가가 어려운 집단도 명시해야 한다. 측정되지 않았다는 사실을 문제가 없다는 뜻으로 해석해서는 안 된다.

다섯째, 모델 개발팀과 검증팀을 분리할 필요가 있다. 모델을 만든 사람이 자신의 모델을 설명하고 공정성을 승인하는 구조에서는 이해충돌이 발생한다. 독립적인 내부 감사팀이나 외부 전문가가 데이터와 코드를 검토하고, 동일한 결과를 재현하며, 다른 설명 방법을 적용해야 한다. 위험이 큰 AI일수록 검증 주체의 독립성과 전문성이 중요하다.

여섯째, 배포 전 검증만으로 끝내서는 안 된다. AI는 운영 환경이 변하면 성능과 영향도 달라진다. 경기 침체, 노동시장 변화, 새로운 고객 유입, 데이터 수집 방식의 변경으로 입력 데이터의 분포가 달라질 수 있다. 개발 당시에는 문제가 없던 변수가 시간이 지나며 특정 집단에 불리하게 작동할 수도 있다. 정기적인 재평가와 실시간 감시, 이상 징후가 발견됐을 때 모델을 중지하거나 이전 방식으로 전환하는 절차가 필요하다.

일곱째, 인간의 재검토를 실질적으로 설계해야 한다. 단순히 최종 승인 버튼을 사람이 누르게 하는 것만으로는 충분하지 않다. 담당자가 AI의 판단을 뒤집을 권한과 시간, 정보, 전문성을 갖춰야 한다. AI의 추천을 따르는 것이 조직 내에서 가장 안전한 선택으로 인식되면 인간은 형식적인 승인자로 남는다. AI를 거부하거나 수정한 사례가 불이익으로 이어지지 않도록 운영 원칙도 마련해야 한다.

여덟째, 설명을 이용자의 행동과 연결해야 한다. 대출이 거절된 이유를 알려주는 데서 끝나지 않고, 어떤 정보를 수정하거나 추가하면 재심사를 받을 수 있는지 안내해야 한다. 잘못된 데이터가 사용됐다면 정정할 수 있어야 하고, 자동화된 판단에 이의를 제기할 수 있어야 한다. 설명이 구제와 연결되지 않는다면 이용자에게는 이해하기 어려운 사후 통보에 불과하다.

아홉째, 중요한 결정을 기록해야 한다. 어떤 모델과 데이터가 사용됐는지, 언제 업데이트됐는지, 어떤 설명 도구가 적용됐는지, 인간 담당자가 어떤 이유로 결과를 승인하거나 변경했는지 남겨야 한다. 문제가 발생했을 때 판단 경로를 추적할 수 있어야 책임 소재를 확인하고 재발을 막을 수 있다. 기록이 없다면 설명은 그 순간의 화면으로 사라지고 조직은 사후 검증 능력을 잃는다.

열째, AI가 사용돼서는 안 되는 영역과 조건도 정해야 한다. 설명과 감사 절차를 강화해도 피해가 크고 오류를 되돌리기 어려운 판단에는 자동화를 제한할 필요가 있다. 자유를 박탈하거나 생명과 건강, 생계에 중대한 영향을 미치는 결정이라면 AI가 보조 역할에 머물러야 할 수 있다. 기술적으로 설명할 수 있다는 이유만으로 자동화의 범위를 넓혀서는 안 된다.

이러한 검증 체계에는 비용과 시간이 들어간다. 하지만 AI의 효율성은 위험 관리 비용을 제외한 채 계산해서는 안 된다. 잘못된 대출 거절, 차별적 채용, 부당한 보험료, 오진이 초래하는 피해와 소송, 평판 하락, 규제 제재까지 고려하면 사전 검증과 지속적인 감사는 부가적인 부담이 아니라 운영 비용의 일부다.

신뢰가 아닌 정당성의 설계

AI 투명성을 둘러싼 논의는 종종 신뢰를 어떻게 높일 것인가에 집중한다. 사용자가 AI의 판단 과정을 이해하면 시스템을 더 편안하게 받아들이고 활용할 것이라는 기대다. 기업 입장에서도 신뢰는 AI 도입과 확산을 위해 중요한 자산이다. 그러나 AI 거버넌스의 목표를 신뢰 향상으로만 설정하면 위험한 방향으로 흐를 수 있다.

신뢰는 높다고 항상 좋은 것이 아니다. 성능이 낮거나 편향된 시스템을 강하게 신뢰하면 피해가 커진다. 반대로 신중한 의심은 이용자가 오류를 발견하고 인간의 판단을 유지하도록 돕는다. 필요한 것은 무조건적인 신뢰가 아니라 시스템의 실제 능력과 한계에 맞는 적정한 신뢰다. 잘하는 일은 활용하되 불확실한 영역에서는 확인하고, 위험한 판단에는 이의를 제기할 수 있어야 한다.

설명은 신뢰를 높이는 장치가 아니라 신뢰를 조정하는 장치가 돼야 한다. AI가 무엇을 알고 무엇을 모르는지, 어떤 조건에서 성능이 떨어지는지, 설명 자체에 어떤 한계가 있는지를 함께 알려야 한다. 확신에 찬 이유만 제시하기보다 불확실성과 대안적 해석을 보여주는 편이 책임 있는 설명에 가깝다. 이용자가 AI를 더 많이 믿게 만드는 것이 아니라 언제 믿고 언제 의심해야 하는지 판단하도록 도와야 한다.

설명의 대상도 구분해야 한다. 개발자는 변수의 상호작용과 모델 오류를 진단할 수 있는 기술적 정보가 필요하다. 경영진은 AI가 조직의 목표와 위험 기준에 부합하는지 판단할 수 있는 요약이 필요하다. 감사 담당자와 규제기관에는 원자료, 검증 방법, 집단별 성능, 변경 기록이 중요하다. 소비자는 자신의 결정에 영향을 준 핵심 요인과 이의 제기 방법을 이해해야 한다. 모든 사람에게 같은 그래프를 제공하는 것은 투명성이 아니라 책임의 방치일 수 있다.

경영진은 AI 설명을 성과 보고서처럼 받아들이지 않아야 한다. “가장 중요한 변수는 무엇인가”만 물으면 설명 도구가 제시한 순위를 사실로 받아들이게 된다. “이 설명은 어떤 가정을 사용했는가”, “현실에 없는 데이터 조합이 포함됐는가”, “집단별로 분석하면 결과가 달라지는가”, “다른 도구에서도 같은 결론이 나오는가”를 함께 물어야 한다. 질문의 수준이 거버넌스의 수준을 결정한다.

또한 공정성을 기술팀에만 맡길 수 없다. 무엇이 공정한지 정하는 일은 데이터 과학의 문제이면서 경영, 법률, 윤리, 소비자 보호의 문제다. 개발자는 오류율을 계산할 수 있지만 어떤 오류를 더 심각하게 볼 것인지는 조직과 사회가 결정해야 한다. 대출을 받을 사람을 거절하는 오류와 상환하기 어려운 사람에게 대출을 제공하는 오류는 서로 다른 피해를 만든다. 의료 AI의 오진도 질환과 환자 집단에 따라 영향이 다르다. 다양한 이해관계자가 공정성 기준을 함께 설계해야 하는 이유다.

AI의 판단을 받는 사람도 거버넌스 과정에 포함할 필요가 있다. 기업 내부의 기술적 검토만으로는 실제 이용자가 경험하는 문제를 모두 파악하기 어렵다. 설명이 이해되는지, 결정에 이의를 제기할 수 있는지, 특정 집단이 반복적으로 불이익을 경험하는지 현장의 의견을 수집해야 한다. 피해를 받는 사람을 검증 과정에서 배제한 채 공정한 AI를 선언하는 것은 설득력이 약하다.

연구가 던진 가장 중요한 메시지는 설명 도구를 믿지 말라는 것이 아니다. 설명 도구 역시 검증의 대상이어야 한다는 것이다. 체온계가 정확한지 확인하듯, AI를 설명하는 도구가 실제 모델 행동을 충실히 보여주는지 점검해야 한다. 하나의 해석 결과가 보기 좋고 이해하기 쉽다는 이유로 공정성의 증거로 받아들여서는 안 된다.

설명 가능한 AI는 블랙박스 문제를 해결하는 완성품이 아니라 조사와 검증을 시작하기 위한 도구다. 설명을 통해 이상한 변수를 발견하고, 집단별 결과를 비교하며, 모델을 수정하고, 영향을 받은 사람이 이의를 제기할 수 있어야 한다. 설명 이후에 아무 행동도 이어지지 않는다면 투명성은 장식적인 기능에 머문다.

기업이 설계해야 할 것은 사람들이 AI를 믿게 만드는 화면이 아니다. AI가 틀렸을 때 발견할 수 있고, 편향됐을 때 수정할 수 있으며, 피해가 발생했을 때 책임지고 구제할 수 있는 구조다. 공정성은 그래프의 모양이 아니라 실제 의사결정의 결과에서 확인돼야 한다. 책임성은 윤리 원칙의 선언이 아니라 오류를 추적하고 바로잡는 권한과 절차에서 드러나야 한다.

AI가 판단의 이유를 말할 수 있다는 사실은 중요한 진전이다. 그러나 그 설명이 정확한지, 충분한지, 특정한 이해관계를 위해 선택적으로 구성되지는 않았는지 묻는 단계가 반드시 뒤따라야 한다. 설명이 신뢰를 요구하는 근거가 되는 순간 착시가 시작된다. 설명이 검증과 반론을 가능하게 하는 자료로 사용될 때 비로소 투명성은 제 역할을 한다.

AI 시대에 필요한 질문은 “시스템이 자신을 설명할 수 있는가”에 머물지 않는다. “그 설명을 독립적으로 검증할 수 있는가”, “설명과 실제 결과가 일치하는가”, “잘못된 결정에 이의를 제기하고 바로잡을 수 있는가”까지 나아가야 한다. 책임 있는 AI는 말을 잘하는 AI가 아니라 자신의 판단을 시험받을 수 있는 AI다. 투명성의 가치는 신뢰를 빠르게 얻는 데 있지 않고, 신뢰할 만한지 끊임없이 확인할 수 있도록 만드는 데 있다.

Reference

Knowledge at Wharton, May 2026, Knowledge at Wharton, When AI Transparency Backfires