얼굴도, 목소리도, 영상도 더는 진실의 증거가 되지 않는 시대가 왔다. 생성형 AI는 창작의 문턱을 낮췄지만, 동시에 신뢰의 문턱은 훨씬 높여놓았다. 이제 디지털 사회의 경쟁력은 더 많이 만드는 힘이 아니라, 무엇이 진짜인지 설계하고 입증하는 힘에서 갈리기 시작한다.
[Key Message]
* 딥페이크는 콘텐츠 문제를 넘어, 사회의 인증 체계 자체를 흔들고 있다. 이제 문제는 가짜 영상 한 편이 아니라, 화면 속 사람과 목소리, 문서와 기록이 정말 진짜인지 확인해야 하는 구조적 위기다.
* 생성형 AI가 창작의 비용을 낮춘 만큼, 진위를 검증하는 비용은 더 빠르게 커지고 있다. 가짜를 만드는 일은 쉬워졌고, 그 결과 사회와 기업은 진짜를 증명하기 위해 더 많은 시간과 기술, 절차와 비용을 지불하게 됐다.
* 신원 인증은 더 이상 보조 기능이 아니라 디지털 경제를 떠받치는 핵심 인프라가 되고 있다. 금융, 플랫폼, 공공서비스, 채용, 교육 등 거의 모든 비대면 서비스는 이제 ‘접속’보다 ‘증명’이 더 중요한 구조로 이동하고 있다.
* 보안 강화는 필요하지만, 그 과정에서 프라이버시 침해와 사회적 배제의 위험도 함께 커진다. 더 강한 인증은 더 많은 생체정보와 행동 데이터를 요구하고, 기술에 익숙하지 않은 사람들에게는 새로운 장벽이 될 수 있다.
* 앞으로의 경쟁은 더 정교한 AI를 만드는 경쟁이 아니라, 더 믿을 만한 신뢰 체계를 설계하는 경쟁이 될 것이다. 미래 사회의 핵심 역량은 무엇을 더 많이 생성하느냐가 아니라, 무엇이 진짜인지 납득 가능하게 증명하고 유지하는 능력에 달려 있다.
***
진짜보다 가짜가 먼저 도착하는 시대
오랫동안 디지털 혁신의 핵심 가치는 속도였다. 더 빨리 접속하고, 더 쉽게 가입하고, 더 간단하게 거래하는 일이 곧 경쟁력이었다. 은행 계좌는 지점 방문 없이 개설되고, 대출 심사는 모바일에서 끝났으며, 화상회의와 원격 채용, 온라인 시험과 전자계약은 일상이 됐다. 사람들은 이 변화를 편리함의 진보로 받아들였고, 기업은 비용 절감과 확장성의 관점에서 이 흐름을 적극 밀어붙였다.
그런데 이 효율의 구조를 떠받치던 전제 하나가 흔들리기 시작했다. 화면 속 얼굴이 실제 사람일 것, 들리는 목소리가 당사자의 것일 것, 제출된 신분증과 셀피가 한 사람을 가리킬 것이라는 믿음이다. 딥페이크는 더 이상 인터넷에서 돌아다니는 자극적인 합성 영상만을 뜻하지 않는다. 그것은 이제 디지털 사회가 당연하게 여겨온 신뢰의 기반 자체를 흔드는 기술이 됐다.
문제의 본질은 단순한 위조가 아니다. 더 근본적인 변화는 사람 자체가 복제 가능한 신호가 됐다는 데 있다. 누군가의 얼굴은 사진 묶음으로 환원되고, 목소리는 짧은 음성 샘플로 추출되며, 말투와 억양은 공개된 영상 기록 속 데이터로 변환된다. 이 순간부터 사기의 방식도 바뀐다. 과거에는 비밀번호를 훔치거나 계정을 탈취하는 것이 핵심이었다면, 이제는 당사자처럼 보이고, 당사자처럼 들리고, 당사자처럼 반응하는 것이 공격의 핵심이 된다.
그래서 오늘의 질문은 더 이상 “무엇이 사실인가”에만 머물지 않는다. 이제 더 중요한 질문은 “지금 여기에 있는 존재가 진짜 누구인가”다. 디지털 경제는 결국 인증 위에 세워져 있다. 누가 로그인하는지, 누가 송금하는지, 누가 계약에 서명하는지, 누가 시험을 치르고 누가 면접에 들어왔는지를 확인할 수 없다면, 그 위에 어떤 거래와 제도도 오래 유지되기 어렵다. 딥페이크가 무서운 이유는 사람을 속일 수 있어서가 아니라, 사회가 굴러가는 인증의 기초를 흔들기 때문이다.
결국 생성형 AI가 낮춘 것은 생산의 비용만이 아니다. 사회는 그 대가로 검증의 비용을 훨씬 더 높게 치르기 시작했다. 가짜가 정교해질수록, 진짜는 더 비싸진다. 지금 커지고 있는 것은 단순한 보안 시장이 아니라, 진짜를 증명하기 위한 거대한 비용 구조와 산업 그 자체다.
얼굴과 목소리, 더는 충분한 증거가 아니다
불과 몇 년 전까지만 해도 안면인식과 음성인식은 미래의 편리함을 상징했다. 비밀번호를 외울 필요도 없고, 일일이 인증번호를 입력하지 않아도 되며, 고객센터에서는 음성만으로 본인 여부를 확인할 수 있다는 기대가 컸다. 생체정보는 잊어버릴 수 없고, 사람마다 다르기 때문에 강력한 인증 수단으로 여겨졌다.
하지만 생성형 AI는 바로 그 장점을 약점으로 되돌리고 있다. 얼굴과 목소리는 한 번 노출되면 다시 바꾸기 어렵고, 온라인에 축적된 데이터가 많을수록 복제의 재료도 풍부해진다. 공개된 인터뷰 영상, SNS 라이브, 유튜브 콘텐츠, 화상회의 녹화본은 모두 누군가를 흉내 내기 위한 원재료가 된다. 생체정보는 비밀번호보다 편리하지만, 한번 유출되면 비밀번호처럼 쉽게 교체할 수 없는 자산이기도 하다. 편리함의 상징이던 생체인증이 동시에 가장 민감한 취약점이 되는 역설이 여기서 시작된다.
이 때문에 인증을 공격하는 방식도 달라졌다. 예전처럼 사진 한 장을 카메라 앞에 들이대는 수준으로는 설명이 부족하다. 오늘의 공격은 카메라로 들어와야 할 입력값 자체를 조작하는 방식으로 진화하고 있다. 시스템은 실제 사람을 보고 있다고 믿지만, 실은 공격자가 설계한 인공 신호를 보고 있을 수도 있다. 실시간 영상처럼 보이는 입력이 사실은 조작된 장면일 수 있고, 살아 있는 사람처럼 반응하는 움직임이 정교하게 설계된 연출일 수도 있다.
이쯤 되면 문제는 “얼굴이 맞느냐”가 아니다. 진짜 질문은 “이 입력이 실제 세계에서 지금 발생한 것인가”다. 그래서 최근 인증 시장에서 중요한 개념으로 떠오른 것이 라이브니스다. 단순히 얼굴이 같은지 보는 것이 아니라, 지금 이 순간 살아 있는 실제 인간이 반응하고 있는지, 그 반응이 즉석에서 만들어진 것인지, 입력 환경 자체가 정상인지까지 함께 검토하는 방식이다.
이제 인증은 하나의 알고리즘이 해결하는 문제가 아니다. 무작위 동작 요구, 눈동자와 표정 변화 분석, 장치 무결성 확인, 세션 환경 점검, 메타데이터 분석, 거래 맥락 파악, 이상 징후 감지가 함께 작동해야 한다. 딥페이크는 겉모습을 속이지만, 인증은 결국 맥락까지 봐야 막을 수 있다. 그래서 오늘날의 보안은 이미지나 영상 한 장면을 판독하는 일이 아니라, 사람과 환경, 행위와 시간까지 포함한 전체 상황을 읽는 일로 바뀌고 있다.
신원 인증, 보조 기능에서 핵심 인프라로
이 지점에서 왜 신원 인증 시장이 급팽창하는지 이해할 수 있다. 과거에 본인 확인은 가입 절차의 일부였고, 종종 귀찮은 마찰 요소로 여겨졌다. 하지만 지금은 그것이 서비스의 생존 조건으로 바뀌고 있다. 비대면 거래가 늘수록 공격 표면도 넓어지고, 신뢰가 무너지면 고객을 늘리는 속도보다 사기 손실과 분쟁 비용이 더 빨리 커진다.
결국 인증은 더 이상 후방 보안 부서만의 문제가 아니다. 그것은 고객 유치와 매출, 규제 준수와 브랜드 신뢰를 한꺼번에 좌우하는 전면 경영 과제가 된다. 신원 인증 시장이 커지는 이유는 단순히 사기 사건이 늘어서가 아니다. 디지털 서비스가 커질수록, 그 서비스를 떠받치는 신뢰 인프라도 함께 커져야 하기 때문이다.
이 산업의 범위는 생각보다 훨씬 넓다. 가장 익숙한 것은 비대면 고객 확인과 전자적 본인 확인 절차다. 신분증 이미지와 셀피 비교, 영상 인터뷰 기반 확인, 안면 매칭, 라이브니스 검증 등이 여기에 속한다. 하지만 실제 현장에서는 이보다 훨씬 많은 신호들이 결합된다. 기기 정보, 위치 정보, 네트워크 환경, 계정 생성 이력, 과거 인증 결과, 거래 패턴, 입력 속도와 행동 특성, 하나의 문서가 여러 계정에 반복 사용된 흔적까지 모두 인증의 재료가 된다.
즉 신원 확인이라는 말은 점점 더 한 사람에 대한 복합적인 리스크 평가와 비슷한 의미를 띠게 된다. 신분증 하나와 얼굴 하나를 맞추는 시대에서, 디지털 흔적 전체를 엮어 실재성을 판단하는 시대로 이동하는 셈이다.
흥미로운 점은 이 산업이 단지 공격을 막기 위해서만 성장하는 것이 아니라는 사실이다. 오히려 더 많은 디지털 서비스가 가능해지기 위해서 인증 산업은 더욱 커진다. 모바일 은행, 무지점 보험, 원격 의료, 온라인 교육, 전자정부, 디지털 자격증명, 전자서명과 원격 공증은 모두 대면 확인을 무엇으로 대체할 것인가라는 질문 위에 세워진다.
이제 인증은 부가 기능이 아니라 인프라다. 전기가 눈에 잘 띄지 않지만 현대 산업의 기초인 것처럼, 신원 인증 역시 점점 더 보이지 않는 필수 기반으로 자리 잡고 있다. 사용자는 셀피 인증과 로그인 화면 정도만 보지만, 그 뒤에서는 문서 판별, 장치 신뢰 확인, 이상 행동 탐지, 위협 분석, 위험 점수 계산 같은 복잡한 구조가 돌아간다. 디지털 경제의 확장은 생성 기술만으로는 불가능하다. 누가 누구인지, 무엇이 진본인지, 지금 벌어지는 상호작용이 실제 인간의 것인지 판별하는 구조가 함께 갖춰져야만 한다.
금융과 플랫폼, 가장 먼저 흔들리는 신뢰의 현장
가장 먼저 압박을 받는 곳은 금융이다. 금융은 본래 신뢰 산업이다. 계좌 개설, 대출 실행, 송금 승인, 카드 발급, 보험 청약, 투자 계정 개설은 모두 “지금 거래하는 상대가 누구인가”를 확실히 알아야 성립한다. 그런데 금융이 모바일 중심으로 이동할수록, 과거 지점 창구 직원이 수행하던 확인 작업을 카메라와 알고리즘, 리스크 엔진이 대신하게 된다.
이 환경에서 딥페이크는 단순한 부정 로그인 문제가 아니다. 그것은 전체 온보딩 구조의 취약점으로 들어온다. 고객처럼 보이는 사람이 실제 고객이 아닐 수 있고, 진짜 신분증처럼 보이는 문서가 합성되었을 수 있으며, 실시간 영상처럼 보이는 장면이 조작된 것일 수도 있다. 금융권이 문서 진위 판별, 라이브니스, 장치 신뢰, 거래 행위 분석을 한꺼번에 결합하는 이유는 보안을 과잉 강화해서가 아니라, 비대면 금융이라는 사업 모델 자체를 유지하기 위해서다.
플랫폼 기업들도 사정은 다르지 않다. 소셜미디어, 크리에이터 플랫폼, 마켓플레이스, 채용 플랫폼, 원격 협업 서비스는 모두 누가 누구인지 완벽하게 확인하지 못한 채 성장해왔다. 이 느슨함은 초기에는 성장의 동력이었다. 가입 장벽을 낮추고, 누구나 쉽게 참여하게 하는 것이 플랫폼 확장에 유리했기 때문이다.
하지만 딥페이크와 자동화된 봇, 합성 프로필, 사기성 광고, 위장 지원자, 가짜 판매자 계정이 늘어날수록 같은 전략은 치명적인 약점으로 바뀐다. 플랫폼의 핵심 자산은 단순한 사용자 수가 아니다. 그것은 신뢰 가능한 연결망이다. 그 연결망이 오염되면 거래 전환율과 체류 시간, 광고 효율, 브랜드 이미지가 동시에 무너진다.
채용과 교육 분야의 변화도 상징적이다. 원격 면접과 글로벌 채용이 확산되면서, 면접에 들어온 사람이 실제 지원자인지, 이력서와 신분이 일치하는지, 테스트를 누가 대신 치르고 있는지 검증하는 일이 중요해졌다. 온라인 교육과 자격시험도 마찬가지다. 아무리 감독 시스템을 고도화해도, 카메라 입력 자체가 조작되면 감독의 눈은 쉽게 속을 수 있다. 그래서 얼굴 비교, 환경 스캔, 세션 무결성 확인, 무작위 동작 지시 같은 기능이 점점 강화되고 있다.
공공영역으로 가면 문제는 더 예민해진다. 행정 서비스, 디지털 신분증, 전자지갑 기반 자격증명, 사회보장 신청과 원격 민원 처리는 모두 높은 수준의 신뢰를 요구한다. 민간 서비스에서는 인증 실패가 불편으로 끝날 수 있지만, 공공영역에서는 권리와 자격, 복지와 법적 효력이 걸려 있다. 그래서 진짜와 가짜를 가려내는 비용은 점점 제도화되고, 인증 문제는 기업의 리스크 관리 차원을 넘어 공적 질서의 문제로 이동하고 있다.
보안을 올릴수록 편의는 줄고, 사회적 비용은 오른다
진짜를 증명하는 산업이 커진다는 말은, 다른 표현으로 하면 사회가 더 많은 검증 비용을 감수하게 된다는 뜻이다. 시간 비용은 가장 먼저 체감된다. 예전에는 비밀번호만 넣으면 되던 서비스가 이제는 셀피 촬영, 얼굴 돌리기, 고개 끄덕이기, 신분증 촬영, 추가 질문, 다른 채널을 통한 재인증까지 요구한다. 심리적 비용도 커진다. 이용자는 “왜 이렇게까지 해야 하지”라는 피로를 느낀다.
기업이 떠안는 비용은 더 직접적이다. 인증 솔루션 구독료, 사기 탐지 엔진, 수동 심사 인력, 규제 준수 체계, 데이터 보관 인프라, 분쟁 처리 비용이 모두 늘어난다. 딥페이크가 생성의 비용을 낮춘 만큼, 검증의 비용은 반대로 높아진다. 이것이 오늘의 디지털 경제가 치르는 가장 선명한 대가다.
문제는 비용이 돈으로만 환산되지 않는다는 데 있다. 인증을 강화하려면 더 많은 데이터를 수집해야 한다. 얼굴 영상, 음성 샘플, 신분증 이미지, 위치 정보, 기기 정보, 행동 로그, 접속 패턴이 인증의 재료가 된다. 하지만 이런 재료가 많아질수록, 그것을 보관하고 처리하는 기관의 책임도 커진다. 안전을 위해 더 많이 수집하자는 논리는 언제든 더 많이 감시하자는 방향으로 미끄러질 수 있다.
이 지점에서 프라이버시 문제와 함께 사회적 불평등 문제도 드러난다. 인증 절차가 복잡해질수록 기술 친화적인 사람은 통과하지만, 그렇지 않은 사람은 탈락한다. 노년층, 장애인, 저사양 기기를 사용하는 이용자, 카메라 환경이 좋지 않은 이용자, 문서 종류가 복잡한 사람들은 더 자주 실패를 겪을 수 있다. 인증은 본래 배제를 최소화하면서 신뢰를 확보해야 하지만, 현실에서는 강화된 인증이 특정 집단에 더 높은 진입 장벽이 되기도 한다.
여기에 또 하나의 역설이 있다. 탐지 기술이 좋아질수록 공격도 더 조직화된다. 오늘 막아낸 방식이 내일은 쉽게 우회될 수 있고, 방어는 끊임없이 갱신되는 운영 역량이 되어야 한다. 결국 신뢰 산업의 본질은 완벽한 방패를 파는 데 있지 않다. 오히려 계속 감시하고, 계속 업데이트하고, 계속 절차를 재설계하는 데 가깝다. 진짜를 증명하는 일은 일회성 기술 도입이 아니라 상시적인 사회 운영 문제가 되어간다.
진짜를 판정하는 기준, 새로운 권력이 되다
딥페이크 시대의 인증은 더 이상 단순한 보안 기술이 아니다. 그것은 권력 구조의 문제로 확장된다. 누가 진짜를 판정하는가. 어떤 기준으로 실재성을 인정하는가. 어떤 생체정보와 어떤 문서를 정상으로 보고, 어떤 패턴을 위험으로 분류하는가. 이 질문들은 기술적 결정처럼 보이지만 실제로는 제도와 정치의 문제다.
국가가 공식 디지털 신원 체계를 강화하면 행정 효율과 사기 방지는 좋아질 수 있다. 그러나 동시에 개인은 더 촘촘한 행정 추적 아래 놓일 수 있다. 플랫폼이 강한 실명 확인을 도입하면 사기와 봇은 줄겠지만, 익명 표현과 내부고발, 취약 계층의 안전한 참여 공간은 줄어들 수 있다. 금융이 다중 인증을 강화하면 부정 거래는 줄지만, 인증 실패가 잦은 이용자는 서비스 접근권 자체를 잃을 수도 있다.
인증은 단순한 기술 문턱이 아니다. 그것은 사회적 출입문이다. 누군가는 더 쉽게 통과하고, 누군가는 더 자주 걸러진다. 그래서 진짜를 판정하는 기준은 곧 누가 사회에 접근할 수 있는가를 결정하는 기준이 된다.
앞으로 경쟁력이 되는 것은 누가 더 많이 생성하느냐만이 아니다. 누가 더 믿을 만한 신호 체계를 설계하느냐가 중요해진다. 생성형 AI 시장이 커질수록 검증 산업도 함께 커지는 이유는 단순한 반작용이 아니다. 둘은 한 몸처럼 자란다. 진짜처럼 보이는 가짜가 늘수록, 진짜라는 증명을 납득 가능한 방식으로 제시할 수 있는 기업과 기관의 가치가 올라간다.
이에는 콘텐츠 출처 증명, 문서 무결성 검증, 기기 신뢰 확인, 인증 이력 관리, 다중 채널 확인, 행위 기반 리스크 분석, 위협 정보 공유가 모두 포함된다. 미래의 신뢰는 감각이 아니라 체계로 만들어진다. 눈으로 보고 귀로 듣는 것만으로는 부족하고, 어떤 절차와 어떤 기록을 거쳐 그 진위를 확인했는지가 더 중요해진다.
결국 승자는 인증을 가장 엄격하게 하는 조직이 아닐 가능성이 높다. 오히려 사용자가 과도한 피로를 느끼지 않으면서도 사기를 효과적으로 줄이는 조직이 앞서갈 것이다. 다시 말해 인증은 사용자 경험과 보안, 규제 준수와 데이터 거버넌스를 동시에 다루는 종합 설계 문제가 된다. 사용자에게는 자연스럽고, 공격자에게는 불편하며, 제도권에는 설명 가능해야 한다. 신뢰를 유지하는 능력은 이제 하나의 경영 능력이며, 동시에 사회 설계 능력이 된다.
한국 사회가 준비해야 할 다음 질문
한국은 이 흐름의 영향을 크게 받을 가능성이 높다. 금융과 행정의 디지털화 수준이 높고, 모바일 중심 서비스가 일상화돼 있으며, 원격 본인 확인에 대한 수요도 크기 때문이다. 동시에 온라인 플랫폼 의존도가 높고, 영상과 음성 콘텐츠 소비가 활발해 얼굴과 목소리 데이터의 노출 역시 적지 않다. 이런 환경은 편리함의 측면에서는 강점이지만, 딥페이크와 신원 사기 측면에서는 공격 표면이 넓다는 뜻이기도 하다.
특히 금융사기, 메신저 기반 사칭, 채용 사기, 투자 사기, 플랫폼 계정 탈취 문제는 이미 익숙한 사회적 불안 요소다. 앞으로는 여기에 생성형 음성 사칭, 영상 위조, 인증 우회 공격이 더 본격적으로 결합할 가능성을 염두에 둬야 한다.
한국이 마주한 과제는 크게 세 가지다. 첫째, 기술 표준과 제도 기준을 어떻게 정교하게 맞출 것인가다. 딥페이크 탐지와 신원 확인은 민간 기업별로 제각각 대응해서는 한계가 있다. 최소한의 표준, 로그 보존 원칙, 사용자 고지, 오류 구제 절차, 생체정보 처리 원칙이 더 촘촘해져야 한다.
둘째, 공공과 민간의 역할 분담이 중요하다. 국가는 모든 인증을 직접 통제할 수는 없지만, 신뢰할 수 있는 디지털 자격 증명 체계와 위변조 방지 인프라, 피해 구제 절차를 마련할 책임이 있다. 민간은 기술 혁신과 서비스 설계를 담당하되, 이용자 권리 보호와 설명 가능성까지 함께 감당해야 한다.
셋째, 시민의 디지털 문해력이 바뀌어야 한다. 이제는 단순히 링크를 조심하고 비밀번호를 바꾸는 수준으로는 부족하다. 들리는 목소리와 보이는 얼굴도 검증해야 한다는 새로운 상식이 필요해졌다. 딥페이크 시대의 시민성은 정보 판독 능력과 함께, 자신의 신원과 계정을 어떻게 안전하게 관리할 것인가를 아는 능력까지 요구한다.
생성의 시대를 넘어, 검증의 시대로
딥페이크를 둘러싼 논의는 자주 자극적인 장면에 머문다. 누구의 얼굴이 합성됐고, 어떤 유명인의 목소리가 도용됐으며, 어떤 정치인이 조작 영상에 등장했는지가 먼저 화제가 된다. 그러나 더 깊은 층위에서 벌어지는 변화는 따로 있다. 사회 전체가 점점 더 많은 것을 디지털로 처리할수록, 인간의 존재와 의사와 기록을 믿는 방식 자체가 바뀌고 있다는 점이다.
예전에는 진짜가 기본값이고 가짜를 의심하는 일이 예외였다. 앞으로는 오히려 검증된 진짜만이 신뢰를 얻고, 검증되지 않은 것은 일단 유보하는 방향으로 질서가 재편될 가능성이 크다. 이 변화는 느리게 보이지만, 한번 굳어지면 오래 지속된다.
이때 우리가 치르게 될 가장 큰 비용은 돈만이 아니다. 절차의 복잡성, 사생활의 일부 양도, 편리함의 감소, 시스템 오류가 낳는 좌절, 제도적 배제의 위험까지 모두 비용이다. 그럼에도 이 비용을 완전히 피할 수는 없다. 생성형 AI가 인간을 더욱 닮아갈수록, 사회는 인간의 진짜성을 입증하는 장치를 더 세밀하게 만들 수밖에 없기 때문이다.
핵심은 그 비용을 어떻게 배분하고, 어떤 원칙 아래 운영하느냐다. 무조건 더 많이 수집하고 더 많이 감시하는 방식이 아니라, 필요한 만큼만 확인하고, 설명 가능하게 운영하며, 실패했을 때 회복 가능한 구조를 만드는 것이 중요하다. 진짜를 증명하는 산업이 커지는 시대일수록, 우리는 어떤 진짜를 누구에게 어떤 대가를 치르고 요구할 것인지 더 신중하게 물어야 한다.
결국 딥페이크 시대의 핵심 산업은 생성 산업인 동시에 검증 산업이다. 더 많이 만드는 능력만으로는 충분하지 않다. 무엇이 진본인지, 누가 실재하는지, 어떤 상호작용이 조작되지 않았는지, 그 기준을 설계하고 유지하는 역량이 더 중요해진다. 진짜를 증명하는 비용은 앞으로 더 커질 가능성이 높다. 하지만 그것은 단순한 사회적 낭비가 아니다. 제대로 설계된다면 그 비용은 디지털 사회가 무너지지 않기 위해 치르는 보험료이자, 신뢰를 유지하기 위한 공공 투자이기도 하다.
앞으로의 경쟁은 더 정교한 AI를 만드는 경쟁만이 아닐 것이다. 더 정당하고 더 설득력 있는 신뢰 체계를 만드는 경쟁이 함께 시작될 것이다. 딥페이크 시대가 우리에게 던지는 가장 중요한 질문은 결국 이것이다. 우리는 무엇을 믿을 것인가가 아니라, 앞으로 무엇을 어떻게 믿게 될 것인가.
Reference
World Economic Forum. Global Cybersecurity Outlook 2025. Geneva: World Economic Forum, 2025.
Federal Trade Commission. “Scammers Use AI to Enhance Their Family Emergency Schemes.” March 20, 2023.
Federal Trade Commission. “Family Emergency Scams.” April 8, 2024.
National Institute of Standards and Technology. Digital Identity Guidelines: Identity Proofing and Enrollment (SP 800-63A-4). 2025.
National Institute of Standards and Technology. Digital Identity Guidelines (SP 800-63-4). 2025.
European Commission. “AI Act.” Shaping Europe’s Digital Future. Updated February 2, 2025.
European Commission. “Code of Practice on Marking and Labelling of AI-Generated Content.” Shaping Europe’s Digital Future. 2025–2026.
The Cost of Proving What Is Real in the Age of Deepfakes
An age has arrived in which faces, voices, and videos can no longer serve as proof of truth. Generative AI has lowered the barrier to creation, but at the same time it has raised the barrier to trust far higher. The competitiveness of the digital age is beginning to be determined not by the power to create more, but by the power to design and prove what is real.
[Key Message]
* Deepfakes are no longer just a content problem. They are destabilizing society’s entire authentication system. The issue is no longer a single fake video, but a structural crisis in which faces, voices, documents, and records all have to be verified as real.
* As generative AI lowers the cost of creation, the cost of verification is rising even faster. Producing fakes has become easier, and as a result, societies and companies now have to spend more time, technology, procedures, and money to prove what is real.
* Identity authentication is no longer an auxiliary function. It is becoming core infrastructure for the digital economy. Across finance, platforms, public services, hiring, and education, non-face-to-face systems are shifting toward a structure in which proving identity matters more than simply gaining access.
* Stronger security is necessary, but it also increases the risks of privacy invasion and social exclusion. More robust authentication demands more biometric and behavioral data, and it can create new barriers for people who are less familiar with technology.
* The competition ahead will not simply be about building more advanced AI. It will be about designing more trustworthy systems of trust. The defining capability of the future will not be how much can be generated, but how convincingly reality can be proven and maintained.
***
An Age in Which Fakes Arrive Before the Real
For a long time, the core value of digital innovation was speed. The ability to connect faster, sign up more easily, and transact more simply was itself a competitive advantage. Bank accounts could be opened without visiting a branch, loan screening could be completed on a mobile phone, and video meetings, remote hiring, online exams, and electronic contracts became part of everyday life. People accepted this change as progress in convenience, and companies aggressively pushed this trend from the perspective of cost reduction and scalability.
Yet one assumption that had supported this structure of efficiency began to shake. It was the belief that the face on the screen would be a real person, that the voice being heard would belong to the actual individual, and that the submitted ID and selfie would point to one and the same person. Deepfakes no longer refer merely to provocative synthetic videos circulating on the internet. They have now become a technology that shakes the very foundation of trust that digital society once took for granted.
The essence of the problem is not simple forgery. The more fundamental shift is that the person has become a reproducible signal. Someone’s face is reduced to a bundle of images, a voice is extracted into a short audio sample, and speaking style and intonation are transformed into data embedded in public video records. From that moment on, the method of fraud also changes. In the past, the core was stealing passwords or hijacking accounts. Now, the core of the attack is to look like the person, sound like the person, and respond like the person.
That is why today’s question no longer remains only, “What is true?” The more important question now is, “Who exactly is the presence here right now?” The digital economy is ultimately built on authentication. If it is impossible to verify who is logging in, who is transferring money, who is signing a contract, who is taking an exam, and who has entered an interview, then no transaction or institution built on top of that can endure for long. The reason deepfakes are frightening is not merely that they can deceive people, but that they can shake the basic framework of authentication on which society runs.
In the end, generative AI has not only lowered the cost of production. In return, society has begun to pay a far higher price for verification. The more sophisticated the fake becomes, the more expensive the real becomes. What is growing now is not simply a security market, but a vast cost structure and industry dedicated to proving what is real.
Faces and Voices Are No Longer Sufficient Evidence
Until only a few years ago, facial recognition and voice recognition symbolized the convenience of the future. There was no need to memorize passwords, no need to enter authentication codes one by one, and there was growing expectation that even customer service centers would be able to verify identity through voice alone. Biometric information was considered a powerful means of authentication because it could not be forgotten and because it differed from person to person.
But generative AI is turning that very advantage into a weakness. Faces and voices are difficult to change once exposed, and the more data accumulates online, the richer the raw material for replication becomes. Public interview videos, social media live streams, YouTube content, and recorded video meetings can all become source material for imitating someone. Biometrics are more convenient than passwords, but they are also assets that cannot be easily replaced once leaked, unlike passwords. This is where the paradox begins: biometric authentication, once a symbol of convenience, becomes at the same time the most sensitive vulnerability.
For this reason, the way authentication is attacked has also changed. It is no longer enough to explain it as someone simply holding up a photo in front of a camera. Today’s attacks are evolving into methods that manipulate the input itself that is supposed to come through the camera. The system believes it is looking at a real person, but in reality it may be seeing an artificial signal designed by an attacker. What appears to be live video input may in fact be a manipulated scene, and movements that appear to come from a living person may in fact be carefully engineered performances.
At this point, the issue is no longer “Does the face match?” The real question becomes, “Is this input actually occurring in the real world, right now?” That is why one of the key concepts emerging in the authentication market is liveness. Rather than simply checking whether a face matches, it refers to a method that also examines whether a real living human being is responding at this moment, whether that response is being generated on the spot, and whether the input environment itself is normal.
Authentication is no longer a problem solved by a single algorithm. Random action prompts, analysis of eye movement and facial expression changes, device integrity checks, session environment inspection, metadata analysis, transaction context review, and anomaly detection all have to operate together. Deepfakes deceive appearances, but authentication can only stop them by looking at context as well. That is why today’s security is no longer about interpreting a single image or video frame, but about reading the entire situation, including the person, the environment, the action, and the timing.
Identity Authentication, From Auxiliary Feature to Core Infrastructure
At this point, it becomes possible to understand why the identity authentication market is expanding so rapidly. In the past, identity verification was part of the signup process and was often regarded as an inconvenient point of friction. But now it is changing into a condition for the survival of services themselves. As non-face-to-face transactions increase, the attack surface also widens, and once trust collapses, fraud losses and dispute costs grow faster than the speed at which customers can be acquired.
In the end, authentication is no longer merely an issue for the back-office security department. It becomes a front-line management issue that simultaneously affects customer acquisition, revenue, regulatory compliance, and brand trust. The reason the identity authentication market is growing is not simply because fraud incidents are increasing. It is because as digital services grow, the trust infrastructure that supports them must grow with them.
The scope of this industry is much broader than it appears. The most familiar forms are remote customer verification and electronic identity verification procedures. These include comparing ID images and selfies, video interview-based verification, facial matching, and liveness checks. But in actual practice, far more signals are combined than this. Device information, location information, network environment, account creation history, previous authentication results, transaction patterns, input speed and behavioral characteristics, and even traces of one document being repeatedly used across multiple accounts all become materials for authentication.
In other words, the phrase “identity verification” is increasingly taking on a meaning close to a comprehensive risk assessment of a person. We are moving from an age in which one ID document and one face were matched, to an age in which an entire set of digital traces is woven together to judge real existence.
What is interesting is that this industry is not growing only in order to block attacks. On the contrary, the authentication industry must grow further in order for more digital services to become possible. Mobile banking, branchless insurance, remote healthcare, online education, e-government, digital credentials, electronic signatures, and remote notarization are all built on the question of what can replace face-to-face verification.
Authentication is no longer an extra function. It is infrastructure. Just as electricity is not always visible yet forms the basis of modern industry, identity authentication too is increasingly becoming an invisible but essential foundation. Users may only see selfie verification and login screens, but behind them are complex structures involving document analysis, device trust verification, abnormal behavior detection, threat analysis, and risk scoring. The expansion of the digital economy is impossible through generative technology alone. There must also be a structure capable of determining who is who, what is authentic, and whether the interaction taking place is truly human.
Finance and Platforms, the First Frontlines Where Trust Begins to Shake
The first sector to come under pressure is finance. Finance is, by its nature, an industry of trust. Opening an account, issuing a loan, approving a transfer, issuing a card, signing up for insurance, and opening an investment account all require certainty about who the counterparty actually is. But as finance becomes mobile-centered, the verification work once performed by employees at branch counters is increasingly being handled by cameras, algorithms, and risk engines.
In this environment, deepfakes are not simply a matter of fraudulent logins. They enter as vulnerabilities in the entire onboarding structure. Someone who appears to be a customer may not actually be that customer, a document that looks like a genuine ID may in fact be synthesized, and a scene that appears to be live video may have been manipulated. The reason the financial sector is combining document authenticity checks, liveness, device trust, and transaction behavior analysis all at once is not because it is overstrengthening security, but because this is necessary to preserve the business model of non-face-to-face finance itself.
Platform companies are in much the same situation. Social media, creator platforms, marketplaces, recruitment platforms, and remote collaboration services all grew without fully verifying who was who. At the beginning, this looseness was a driver of growth. Lowering the barrier to entry and allowing anyone to participate easily was advantageous for platform expansion.
But as deepfakes, automated bots, synthetic profiles, fraudulent advertisements, disguised applicants, and fake seller accounts increase, that same strategy turns into a fatal weakness. A platform’s core asset is not simply its number of users. It is a trustworthy network of connections. Once that network is contaminated, conversion rates, user time spent, advertising efficiency, and brand image all collapse at once.
Changes in hiring and education are also symbolic. As remote interviews and global hiring spread, it has become important to verify whether the person entering the interview is the real applicant, whether the résumé and identity match, and whether someone else is taking the test on the applicant’s behalf. The same is true in online education and qualification exams. No matter how advanced the monitoring system becomes, if the camera input itself is manipulated, the eye of the proctor can be deceived easily. That is why functions such as facial comparison, environment scanning, session integrity checks, and random action prompts are being strengthened more and more.
The issue becomes even more sensitive in the public sector. Administrative services, digital IDs, wallet-based digital credentials, social security applications, and remote civil services all require a high degree of trust. In private services, failed authentication may end in inconvenience. But in the public sector, rights, qualifications, welfare, and legal validity are at stake. That is why the cost of distinguishing the real from the fake is increasingly being institutionalized, and the problem of authentication is moving beyond corporate risk management into the realm of public order.
The Higher Security Rises, the More Convenience Falls and Social Costs Increase
To say that the industry of proving what is real is growing is, in other words, to say that society is being forced to bear more verification costs. Time cost is the first to be felt. Services that once required only a password now demand selfie capture, face turning, nodding, ID photography, additional questions, and reauthentication through another channel. Psychological cost also rises. Users feel fatigue and ask, “Why does it have to go this far?”
The costs borne by companies are even more direct. Subscription fees for authentication solutions, fraud detection engines, manual review personnel, regulatory compliance systems, data storage infrastructure, and dispute resolution costs all rise together. As deepfakes lower the cost of generation, the cost of verification rises in the opposite direction. This is the clearest price being paid by today’s digital economy.
The problem is that these costs cannot be reduced to money alone. In order to strengthen authentication, more data must be collected. Facial video, voice samples, ID images, location information, device information, behavior logs, and connection patterns all become materials for authentication. But the more such materials accumulate, the greater the responsibility of the institutions that store and process them. The logic that says we must collect more in order to be safe can at any time slide into the logic that says we must monitor more.
At this point, alongside privacy concerns, the problem of social inequality also appears. The more complex authentication procedures become, the more easily technologically fluent people pass through them, while others fail. Elderly people, people with disabilities, users with low-spec devices, users in poor camera environments, and people with complicated document types may fail more often. Authentication is supposed to minimize exclusion while securing trust, but in reality strengthened authentication can become a higher barrier to entry for certain groups.
There is yet another paradox here. The better detection technology becomes, the more organized the attacks become as well. A method blocked today may be easily bypassed tomorrow, and defense must become an operational capability that is continuously updated. In the end, the essence of the trust industry does not lie in selling a perfect shield. It lies rather in continually monitoring, continually updating, and continually redesigning procedures. Proving what is real is becoming not a one-time technological adoption, but a constant matter of social operation.
The Standards for Judging the Real Become a New Form of Power
In the age of deepfakes, authentication is no longer merely a security technology. It expands into a question of power structure. Who gets to determine what is real. By what standards is real existence recognized. Which biometric data and which documents are treated as normal, and which patterns are classified as risky. These questions may appear to be technical decisions, but in reality they are questions of institutions and politics.
If the state strengthens an official digital identity system, administrative efficiency and fraud prevention may improve. But at the same time, individuals may be placed under denser administrative tracking. If platforms introduce strong real-name verification, fraud and bots may decline, but anonymous expression, whistleblowing, and safe participation spaces for vulnerable groups may also shrink. If finance strengthens multifactor authentication, fraudulent transactions may decrease, but users who repeatedly fail authentication may lose access to services altogether.
Authentication is not merely a technical threshold. It is a social gate. Some pass through it more easily, while others are screened out more often. That is why the standards for determining the real become standards that decide who can gain access to society.
What will matter going forward is not only who can generate more. What will matter is who can design more trustworthy signal systems. The reason the verification industry grows alongside the generative AI market is not a simple reaction. The two grow together as one body. The more fake things that look real increase, the more the value rises of companies and institutions that can present proof of reality in ways people can accept.
This includes content provenance verification, document integrity validation, device trust confirmation, authentication history management, multichannel confirmation, behavior-based risk analysis, and threat information sharing. The trust of the future will be made not by instinct, but by systems. It will no longer be enough to see with one’s eyes and hear with one’s ears. What will matter more is through what procedures and records the authenticity was verified.
In the end, the winners are unlikely to be the organizations that make authentication the strictest. Rather, they are likely to be the ones that reduce fraud effectively without causing users excessive fatigue. In other words, authentication becomes a comprehensive design problem that must handle user experience, security, regulatory compliance, and data governance all at once. It must feel natural to the user, inconvenient to the attacker, and explainable to institutional authorities. The ability to maintain trust is now becoming a managerial capability and, at the same time, a social design capability.
The Next Questions Korean Society Must Prepare For
Korea is likely to be strongly affected by this trend. The country has a high level of digitalization in finance and administration, mobile-centered services are part of everyday life, and there is strong demand for remote identity verification. At the same time, dependence on online platforms is high, and the consumption of video and audio content is active, which means exposure of facial and voice data is also not insignificant. In terms of convenience, this environment is a strength, but in terms of deepfakes and identity fraud, it also means that the attack surface is broad.
In particular, financial fraud, messenger-based impersonation, recruitment fraud, investment fraud, and platform account theft are already familiar sources of social anxiety. Going forward, it must be assumed that generative voice impersonation, video forgery, and authentication-bypass attacks will combine with these much more fully.
The tasks Korea faces can be summarized in three broad areas. First, how to align technical standards and institutional criteria more precisely. Deepfake detection and identity verification have clear limits if each private company responds separately. Minimum standards, log retention principles, user notification, error relief procedures, and biometric data handling principles must become more detailed.
Second, the division of roles between the public and private sectors is important. The state cannot directly control every form of authentication, but it does bear responsibility for building trustworthy digital credential systems, anti-forgery infrastructure, and procedures for victim relief. The private sector must take charge of technological innovation and service design, while also bearing responsibility for protecting user rights and ensuring explainability.
Third, citizens’ digital literacy must change. It is no longer enough merely to be careful with links and change passwords. A new common sense is needed: even the voice one hears and the face one sees must be verified. Citizenship in the age of deepfakes requires not only the ability to interpret information, but also the ability to understand how to manage one’s identity and accounts safely.
Beyond the Age of Generation, Toward the Age of Verification
Discussions surrounding deepfakes often remain fixed on sensational scenes. It is the question of whose face was synthesized, whose voice was stolen, and which politician appeared in a manipulated video that first becomes news. But there is a different transformation unfolding at a deeper level. As society handles more and more things digitally, the very way in which human existence, intention, and records are trusted is being changed.
In the past, the real was the default, and suspecting the fake was the exception. Going forward, it is increasingly likely that only the verified real will earn trust, and that what is unverified will first be held in suspension. This change may appear slow, but once it solidifies, it will endure for a long time.
At that point, the greatest cost we will pay will not be money alone. Complexity of procedures, the surrender of parts of private life, the reduction of convenience, frustration caused by system errors, and the risk of institutional exclusion are all forms of cost. Even so, this cost cannot be entirely avoided. The more generative AI comes to resemble human beings, the more society will have no choice but to create more fine-grained mechanisms for proving human authenticity.
The key lies in how those costs are distributed and under what principles they are operated. What matters is not a system that simply collects more and monitors more, but one that verifies only what is necessary, operates in an explainable way, and is recoverable when failure occurs. The larger the industry of proving what is real becomes, the more carefully we must ask what kind of reality we demand, from whom, and at what cost.
In the end, the key industry of the deepfake age is both the generative industry and the verification industry. The ability to create more will not be enough. What will become more important is the capability to design and maintain the standards by which authenticity is judged, by which existence is confirmed, and by which interactions are shown not to have been manipulated. The cost of proving what is real is likely to continue rising. But that is not merely social waste. If properly designed, that cost can also be the insurance premium society pays to avoid collapse in the digital age, and a public investment in the maintenance of trust.
The competition of the future will not be only a competition to build more sophisticated AI. It will also be a competition to build more just and more convincing systems of trust. In the end, the most important question the age of deepfakes throws at us is this. It is not simply what we will believe, but how, from now on, we will come to believe at all.
Reference
World Economic Forum. Global Cybersecurity Outlook 2025. Geneva: World Economic Forum, 2025.
Federal Trade Commission. “Scammers Use AI to Enhance Their Family Emergency Schemes.” March 20, 2023.
Federal Trade Commission. “Family Emergency Scams.” April 8, 2024.
National Institute of Standards and Technology. Digital Identity Guidelines: Identity Proofing and Enrollment (SP 800-63A-4). 2025.
National Institute of Standards and Technology. Digital Identity Guidelines (SP 800-63-4). 2025.
European Commission. “AI Act.” Shaping Europe’s Digital Future. Updated February 2, 2025.
European Commission. “Code of Practice on Marking and Labelling of AI-Generated Content.” Shaping Europe’s Digital Future. 2025–2026.