Better Tech: Putting People First in Cyberspace
더 나은 기술, 사람을 앞에 두기
 
지은이 : Francine Berman
출판사 : The MIT Press
출판일 : 202609







[Better Tech: Putting People First in Cyberspace]

고장 난 다리보다 위험한 알고리즘
- 더 똑똑한 기술이 아니라 사람을 먼저 생각하는 기술의 조건


다리에 균열이 생기면 도시는 통행을 막고 원인을 조사한다. 그러나 수백만 명의 판단을 흔드는 알고리즘에 균열이 생기면 ‘일시적인 오류’라는 안내문이 먼저 떠오른다. 기술은 편리한 도구를 넘어 일상과 경제, 민주주의가 오가는 보이지 않는 기반시설로 기능한다. 사고 뒤의 사과문이 아니라 설계 단계의 예방, 빠른 혁신이 아니라 믿고 사용할 수 있는 혁신이 필요한 때다.

[Key Message]

* 디지털 기술은 사회의 핵심 인프라다. 소셜미디어와 검색엔진, AI 챗봇은 사람의 판단과 기회를 좌우한다. 도로와 전력망처럼 안전성·신뢰성·책임성을 갖춰야 한다.

* 더 강력한 기술이 반드시 더 나은 기술은 아니다. 성능과 편의성이 높아져도 개인정보 침해와 편향, 허위정보가 확대될 수 있다. 기술의 가치는 속도가 아니라 사람과 공동체에 미치는 영향으로 평가해야 한다.

* 사고 이후의 사과보다 설계 단계의 예방이 중요하다. 위험은 제품이 출시된 뒤가 아니라 설계와 개발 과정에서 점검해야 한다. ‘최소 기능 제품’을 넘어 ‘최소 안전 제품’이라는 기준이 필요하다.

* 기술윤리는 선언이 아니라 책임의 구조다. 공정성과 투명성, 안전성은 실제 제품과 경영 의사결정에 반영돼야 한다. 이용자에게는 설명을 듣고 자동화된 결정에 이의를 제기할 권리가 보장돼야 한다.

* 사람을 위한 기술은 사회 전체가 함께 만들어야 한다. 기업의 자율적인 개선이나 정부 규제만으로는 충분하지 않다. 기업·정부·대학·시민사회·이용자가 권한과 책임을 나눠야 한다.

***

무료 서비스가 받아가는 통행료
아침에 눈을 뜬 사람은 창밖의 날씨보다 스마트폰 화면을 먼저 확인한다. 검색창은 궁금증을 해결하고, 소셜미디어는 친구와 세상을 연결하며, AI 챗봇은 질문에 답하고 문서를 작성한다. 겉으로는 모두 개인이 자유롭게 선택한 행동처럼 보인다. 그러나 화면 뒤에서는 추천 알고리즘이 다음에 무엇을 보여줄지 정하고, 광고 시스템이 어떤 욕망을 자극할지 계산하며, 데이터 분석기는 사용자의 관심과 불안을 끊임없이 분류한다.

사람들이 온라인 서비스를 이용하는 동안 서비스 역시 사람을 이용한다. 무료로 제공되는 플랫폼은 이용자의 시간과 행동 정보를 통행료처럼 받아간다. 검색 결과의 순서는 무엇이 중요한 지식인지 결정하고, 추천 피드는 분노와 호기심 가운데 어느 감정이 사람을 더 오래 붙잡아두는지 시험한다. AI 챗봇은 친절하고 매끄러운 문장으로 답하지만, 그 답이 어떤 자료와 판단 과정을 거쳐 만들어지는지는 좀처럼 보여주지 않는다.

기술기업은 플랫폼이 이용자가 좋아할 만한 콘텐츠를 보여줄 뿐이고, 검색엔진은 정보를 정렬할 뿐이며, AI는 학습한 패턴을 바탕으로 문장을 생성할 뿐이라고 설명한다. 그러나 ‘그저 보여준다’는 해명은 더 이상 충분하지 않다. 무엇을 먼저 보여주고 무엇을 감추며 누구의 목소리를 증폭하는지는 이미 사회적 권력을 행사하는 일이기 때문이다.

문제는 기술의 성능보다 성능을 평가하는 기준에서 시작된다. 더 빠른 칩과 더 큰 AI 모델은 더 많은 일을 처리하지만, 더 나은 사회까지 자동으로 만들지는 않는다. 성능이 높아질수록 오류와 피해도 빠르고 넓게 확산될 수 있다. 계산 속도와 이용자 수, 체류시간만으로 기술의 진보를 측정하던 관행에서 벗어나야 한다. 사람을 보호하고 공동체에 이익을 주는지까지 기술의 성적표에 포함해야 한다.

도로와 전력망이 된 플랫폼
다리 하나를 건설할 때도 하중을 계산하고 안전 기준을 적용한다. 자동차는 충돌 시험을 통과해야 하고, 의약품은 효능뿐 아니라 부작용을 검증받는다. 식품에는 원재료와 알레르기 정보가 표시되며, 전력회사는 정전 위험에 대비해야 한다. 중요한 시스템일수록 ‘문제가 생기면 고친다’는 방식으로 운영되지 않는다. 사고 가능성을 미리 계산하고, 사고가 발생했을 때 책임질 주체와 복구 절차까지 정해놓는다.

디지털 세계의 관행은 다르다. 수억 명이 이용할 서비스가 먼저 출시되고, 위험은 사회 전체를 대상으로 한 거대한 실험이 시작된 뒤에야 발견된다. 어린이와 청소년에게 미치는 영향, 개인정보 유출 가능성, 허위정보의 확산, 편향된 자동 결정은 제품이 일상에 깊숙이 들어온 다음 논의된다. 피해를 입증해야 하는 부담도 이용자에게 돌아간다. 기업은 혁신의 속도를 자랑하고, 사회는 그 속도에서 떨어져 나온 파편을 뒤늦게 치운다.

소셜미디어와 검색엔진, AI 챗봇은 도로나 전력망에 버금가는 핵심 인프라다. 이 서비스들은 사람이 어디로 이동할지뿐 아니라 무엇을 믿고, 누구와 관계를 맺으며, 어떤 기회를 얻을지를 좌우한다. 검색이 멈추면 정보 접근이 흔들리고, 플랫폼 정책이 바뀌면 수많은 창작자와 사업자의 생계가 영향을 받는다. AI의 오류는 과제 한 줄의 오답에서 그치지 않고 채용, 금융, 의료, 교육, 행정의 판단에 스며들 수 있다.

그런데도 디지털 서비스에는 전통적인 기반시설만큼 강한 공적 의무가 부과되지 않는다. 플랫폼 기업이 이용약관을 바꾸면 시민은 협상하지 못한 채 ‘동의’ 버튼을 누른다. 계정이 정지되거나 알고리즘의 판단으로 기회가 차단돼도 이유를 듣기 어렵다. 현대인은 디지털 도로를 매일 걷지만, 그 도로의 신호등과 통행 규칙은 사기업의 비공개 회의에서 결정된다.

풀려난 기술의 야수들
기술은 스스로 선하거나 악하지 않다. 강력한 기술을 어느 방향으로 달리게 만드는가는 그 주변에 놓인 인센티브에 달려 있다. 광고 수익에 의존하는 플랫폼에서는 사람을 오래 붙잡는 행동이 좋은 성과로 기록된다. 차분한 설명보다 충격적인 주장, 합의보다 갈등, 만족보다 불안이 더 많은 클릭을 만든다. 알고리즘은 인간의 약점을 미워해서 공격하는 것이 아니다. 측정하도록 지시받은 숫자를 충실하게 키울 뿐이다.

기술의 부작용은 우연한 예외가 아니라 사업모델에서 흘러나오는 구조적 부산물이다. 과도한 개인정보 수집은 더 정교한 광고를 만들고, 자극적인 추천은 체류시간을 늘린다. 자동화된 판단은 비용을 줄이지만, 잘못된 결정에 이의를 제기할 창구까지 함께 줄인다. 기업에 효율적인 기술이 이용자에게도 좋은 기술이라는 보장은 어디에도 없다.

AI 챗봇은 이 문제를 한층 복잡하게 만든다. 검색엔진은 여러 링크를 보여주지만, 생성형 AI는 하나의 매끄러운 답을 내놓는다. 틀린 정보조차 확신에 찬 문장으로 표현할 수 있다. 사람들은 기계가 질문을 이해하고 판단을 내린다고 느끼기 쉽지만, 유창함은 진실성과 같은 것이 아니다. 대화형 인터페이스가 친근해질수록 그 뒤의 불확실성은 가려지고, 사용자가 부여하는 신뢰는 커진다.

어린이와 취약한 이용자는 AI가 가진 한계를 구분하기가 더욱 어렵다. 정서적 위기나 건강 문제에 관한 질문에 부정확하거나 위험한 답이 제공되면 화면 속 문장은 단순한 오류를 넘어 현실의 행동을 바꾸는 개입이 된다. ‘전문가의 조언이 아니다’라는 짧은 경고문만으로 책임을 다했다고 보기는 어렵다. 자동차 회사가 제동장치의 결함을 작은 글씨로 고지했다고 해서 면책되지 않는 것과 같은 이유다.

사고 뒤의 사과보다 값싼 예방
디지털 산업에서는 일단 출시한 뒤 고치는 방식이 오랫동안 미덕처럼 받아들여졌다. 빠르게 만들고, 이용자의 반응을 확인하고, 문제가 발견되면 수정한다는 개발 문화가 자리 잡았다. 작은 기능이나 오락 서비스에는 효과적일 수 있다. 그러나 수백만 명의 삶에 영향을 미치는 시스템에서는 ‘실험’의 의미가 달라진다. 이용자는 동의한 적 없는 시험의 피험자가 되고, 실패의 비용은 기업 밖으로 밀려난다.

필요한 것은 사고 이후의 사과문이 아니라 설계 단계의 예방이다. 위험한 결과가 발생한 뒤 피해를 수습하는 것보다, 제품을 만들 때 위험을 발견하고 줄이는 편이 사회적으로 훨씬 저렴하다. 개인정보를 필요 이상 수집하지 않는 것, 취약 계층을 대상으로 사전 시험을 실시하는 것, 중요한 자동 결정에는 사람이 이의를 검토하도록 하는 것, 시스템의 목적과 한계를 분명하게 알리는 것이 예방의 출발점이다.

예방은 혁신을 멈추자는 요구가 아니다. 건축법은 건물을 없애지 않았고 식품안전 기준은 식품산업을 끝내지 않았다. 기술의 안전 기준 역시 혁신 자체를 막지 않는다. 오히려 믿고 사용할 수 있는 환경이 조성돼야 기술이 사회의 지속적인 지지를 얻을 수 있다. 안전과 혁신을 서로 반대편에 놓는 구도는 기업이 져야 할 책임을 소비자의 선택 문제로 돌리는 데 편리할 뿐이다.

기술기업에는 ‘최소 기능 제품’과 함께 ‘최소 안전 제품’이라는 기준이 필요하다. 기능이 작동하는지만 확인할 것이 아니라 누가 피해를 볼 수 있는지도 살펴야 한다. 평균 정확도가 높다는 보고서만으로는 부족하다. 오류가 특정 집단에 집중되는지, 실패했을 때 피해가 회복 가능한지, 이용자가 자동 결정에 항의할 수 있는지까지 측정해야 한다.

윤리 선언을 넘어선 책임의 구조
공정성, 투명성, 안전, 인간 중심이라는 단어는 기업의 윤리 보고서에 빠짐없이 등장한다. 그러나 그런 원칙이 실제 제품 출시를 늦추거나 수익 목표를 수정할 권한을 갖지 못한다면 장식에 머문다. 기술윤리는 좋은 사람을 채용하고 멋진 선언문을 발표하는 문제가 아니다. 위험을 발견한 사람이 멈춤 버튼을 누를 수 있도록 의사결정 구조를 바꾸는 문제다.

책임 있는 기술을 만들려면 제품 관리자와 엔지니어, 디자이너뿐 아니라 법률 전문가와 사회과학자, 영향을 받는 공동체가 초기 단계부터 참여해야 한다. 완성된 제품을 두고 마지막에 윤리 검사를 하는 방식으로는 늦다. 건물을 다 지은 뒤 비상구를 그려 넣을 수 없듯, 안전과 권리는 기술의 구조 안에 처음부터 들어가야 한다.

성과지표도 달라져야 한다. 가입자 수와 체류시간, 클릭률만 측정하면 조직은 자연스럽게 사람의 관심을 더 많이 빼앗는 방향으로 움직인다. 안전 관련 신고가 얼마나 빨리 처리되는지, 개인정보 수집이 얼마나 줄어드는지, 취약한 이용자의 피해가 감소하는지, 결정에 대한 설명과 이의제기가 제대로 제공되는지를 경영지표에 포함해야 한다.

경영진과 이사회 역시 기술 위험을 개발팀의 세부 문제로 취급할 수 없다. 대규모 개인정보 유출, 차별적 알고리즘, 아동 안전 문제는 평판만 훼손하는 사건이 아니다. 규제와 소송, 고객 이탈, 인재 유출을 동시에 불러올 수 있는 경영 위험이다. 사람 중심의 기술은 자선 활동이나 홍보 캠페인이 아니라 기업의 장기적인 존립 전략에 가깝다.

규제만으로 완성되지 않는 변화
기업의 자율적인 개선만 기다리는 것도 충분하지 않다. 시장은 사회적 피해를 저절로 가격에 반영하지 못한다. 허위정보가 민주주의에 끼치는 비용이나 중독적 설계가 청소년의 정신건강에 남기는 부담은 기업의 손익계산서 밖에 머문다. 기업이 이익을 얻고 사회가 비용을 떠안는 구조에서는 공적 개입이 필요하다.

그렇다고 법률 하나를 제정하는 것만으로 문제가 해결되지는 않는다. 기술은 빠르게 변하고, 지나치게 구체적인 규정은 시행될 때쯤 낡을 수 있다. 규제기관에 전문 인력과 조사 권한이 부족하면 강력해 보이는 법도 집행되지 못한다. 기업이 제출한 자료에만 의존해 안전성을 판단한다면 감독은 형식적인 절차로 전락하기 쉽다.

효과적인 정책은 결과에 대한 책임과 절차적 의무를 함께 요구해야 한다. 고위험 시스템에는 사전 평가와 독립 감사를 적용하고, 중대한 사고를 보고하게 하며, 피해자가 설명과 구제를 요구할 수 있도록 해야 한다. 규제기관은 기술 변화에 맞춰 기준을 갱신할 역량을 갖춰야 한다. 기업이 위험을 숨기는 것보다 일찍 발견해 공개하는 편이 유리하도록 인센티브도 설계해야 한다.

법과 규제는 필요하지만 그것만으로는 충분하지 않다. 대학은 엔지니어에게 코딩 능력뿐 아니라 기술이 사회에 미치는 영향을 가르쳐야 한다. 투자자는 성장률과 함께 위험관리 능력을 살펴야 하고, 공공기관은 값이 싸다는 이유만으로 불투명한 시스템을 구매해서는 안 된다. 시민도 편리함의 소비자에 머물지 않고 기술의 운영 조건을 요구하는 이해관계자로 참여해야 한다.

혼자서는 만들 수 없는 공익기술
공익기술은 정부가 만든 기술만을 뜻하지 않는다. 기술 전문성과 사회적 책임을 결합해 공공의 이익을 확대하는 접근 전체를 가리킨다. 민간기업의 서비스라도 사람의 권리와 안전을 중심에 놓는다면 공익에 기여할 수 있다. 반대로 공공기관이 도입한 시스템이라도 불투명하고 차별적이라면 공익기술이라 부르기 어렵다.

프랜신 버먼(Francine Berman)은 수학과 컴퓨터과학을 기반으로 국가 규모의 사이버 인프라 구축을 이끌었고, 디지털 데이터 보존과 사물인터넷의 사회적 영향을 연구해왔다. 기술 내부를 이해하는 과학자이면서 기술이 사회에서 어떤 제도와 책임을 필요로 하는지 탐구해온 정책 전문가이기도 하다. 기술을 거부하는 외부 비평이 아니라 대규모 기술 시스템을 직접 구축하고 운영한 경험에서 나온 문제의식이라는 점에서 목소리에 무게가 실린다.

공익기술은 한 명의 영웅적 개발자가 완성할 수 없다. 정부와 기업, 대학, 시민사회, 이용자가 서로 다른 책임을 나눠야 한다. 기업은 설계와 운영의 위험을 공개하고, 정부는 최소한의 안전선을 정하며, 연구자는 그 효과를 독립적으로 검증해야 한다. 이용자는 피해를 신고하고 결정에 이의를 제기할 실질적인 권리를 가져야 한다.

이 협력에서 가장 중요한 것은 권력의 균형이다. 기업이 정보를 독점하면 정부와 시민은 위험을 평가할 수 없다. 정부가 감시 기술을 무제한 사용하면 공익이라는 이름으로 시민의 권리가 침해될 수 있다. 기술 전문성이 없는 시민에게 모든 책임을 떠넘겨서도 안 된다. 사람을 우선하는 기술은 선의가 아니라 감시와 견제, 설명과 구제가 가능한 구조에서 만들어진다.

편리함 다음에 던져야 할 질문
새로운 기술을 만날 때 사람들은 대개 “무엇을 할 수 있는가”를 먼저 묻는다. 얼마나 빠른지, 얼마나 많은 일을 자동화하는지, 비용을 얼마나 줄이는지가 관심의 중심이다. 이제 질문의 순서부터 바뀌어야 한다. 누구에게 이익이 돌아가는가, 누가 위험을 부담하는가, 실패하면 누가 책임지는가, 이용자는 거부하거나 이의를 제기할 수 있는가를 먼저 물어야 한다.

이 질문들은 기술을 두려워하기 위한 것이 아니다. 기술에 대한 기대를 낮추기보다 기준을 높이는 일이다. 사람들은 자동차가 빠르기만 한 것이 아니라 안전하기를 기대하고, 의약품이 효과적이면서도 충분히 검증되기를 요구한다. 디지털 기술에도 같은 기대를 적용할 수 있다. 인터넷 기업이 특별히 사악해서가 아니라 이미 사회의 핵심 인프라를 운영할 만큼 중요해졌기 때문이다.

기술의 성공을 이용자 수로만 계산하는 시대에는 사람을 더 오래 붙잡는 서비스가 승자가 된다. 앞으로는 사람의 삶을 훼손하지 않고 필요한 기능을 제공하는 기술이 더 높은 평가를 받아야 한다. 서비스를 떠날 자유, 개인정보를 내주지 않을 자유, 자동화된 판단을 거부할 자유도 제품의 품질에 포함돼야 한다.

더 나은 기술은 미래 어느 날 등장할 완벽한 발명품이 아니다. 출시 전 위험을 확인하고, 운영 중 문제를 측정하며, 피해가 생기면 설명하고 고치는 제도의 결과다. 기술의 방향은 코드만으로 정해지지 않는다. 기업의 수익모델과 정부의 규칙, 연구자의 검증, 시민의 요구가 함께 코드를 움직인다.

다리가 무너지면 누구도 이용자의 보행 습관만 탓하지 않는다. 전력망이 고장 나면 주민에게 전기를 덜 믿었어야 한다고 말하지 않는다. 디지털 기술을 기반시설로 사용한다면 그에 맞는 안전과 책임도 요구해야 한다. 필요한 변화는 기술을 인간처럼 보이게 만드는 일이 아니다. 기술을 만들고 운영하는 제도와 조직이 인간에 대한 책임을 지도록 만드는 일이다.