미래의 먹거리 산업 가운데 핵심적이라 할 인공지능(AI)이 미국과 중국에서 우위를 선점하기 위한 치열한 기술패권 경쟁을 벌이고 있다.

AI의 핵심자원이 ‘데이터(Data)'라면, 수십억 명이 넘는 시민들이 국가 감시로부터 느슨한 보호를 받는 중국이 AI기술 패권 전쟁에서 승리를 할 운명인 것 같다고 미국의 대외문제 전문지인 ’포린 어페어즈‘가 최근 보도했다.

보도에 따르면, 유명한 컴퓨터 과학자인 리 카이 푸(李開復, Kai-Fu Lee)는 “데이터가 새로운 석유이고, 중국은 새로운 OPEC”이라고 주장했다. 그러나 우수한 기술이 우위를 제공하는 것이라면, 세계적인 수준의 대학 시스템과 우수한 인력을 갖춘 미국은 여전히 앞서 나갈 기회가 있다. 어느 나라든, 전문가들은 AI의 우위가 자연스럽게 더 넓은 경제적, 군사적 우위로 이어질 것이라고 가정한다.

그러나 AI를 지배력 경쟁의 관점에서 생각하는 것은 AI가 세계 정치를 변화시키는 더 근본적인 방법을 놓치고 있다. AI는 강대국들 간의 경쟁을 변화시키지 않을 것이지만, 경쟁국들 자체를 변화시킬 것이다.

미국은 민주주의 국가인 반면 중국은 권위주의 정권이고 기계학습(machine learning)은 나름대로 각 정치체제에 도전을 하고 있다. 미국과 같은 민주주의에 대한 도전은 모두 너무 눈에 띈다. 기계학습은 양극화를 증가시킬 수 있다. 즉, 정치적 분열을 촉진하기 위해 온라인 세계를 재구성할 수 있다.

그럴 경우, 분명 미래에 허위 정보(disinformation)를 증가시켜 설득력 있는 가짜 연설(fake speech)을 대규모로 만들어낼 것이다. 독재정권에 대한 도전은 더 미묘하지만 아마도 더 부패적일 수 있다.

기계학습이 민주주의의 분열을 반영하고 강화하듯이, 독재정권을 혼란스럽게 할 수 있으며, 합의의 거짓된 모습(false appearance of consensus)을 만들고, 근본적인 사회적 균열을 은폐시키 수 있다. 이 사실을 알 때는 이미 시간이 너무 흐른 후일 것이다.

정치학자 허버트 사이먼(Herbert Simon)을 포함한 AI의 초기 개척자들은 AI 기술이 단순한 엔지니어링 애플리케이션보다 시장, 관료 및 정치 기관과 더 공통점이 많다는 것을 깨달았다. 인공지능의 또 다른 선구자인 노버트 위너(Herbert Simon)는 AI를 “사이버네틱 시스템(cybernetic system : 인공두뇌 시스템)” 즉 피드백에 반응하고 적응할 수 있는 시스템으로 표현했다.

사이먼도 위너도 기계학습이 어떻게 AI를 지배할지는 예상하지 못했지만, 그 진화는 그들의 사고방식과 맞아 떨어지는 것을 알 수 있다. 페이스북과 구글은 기계학습을 자체 수정 시스템의 분석 엔진으로 사용해 예측의 성공 여부에 따라 데이터에 대한 이해를 지속적으로 업데이트한다. 기계 학습을 그렇게 엄청난 힘으로 만든 것은 통계 분석과 환경으로부터의 피드백 사이의 연결고리(loop)이다.

이해가 충분히 되지 않는 것은 민주주의와 권위주의도 “사이버네틱 시스템”이라는 것이다. 두 가지 형태의 통치 아래에서, 정부는 정책을 제정하고 나서 이러한 정책들이 성공했는지 실패했는지를 알아내려고 노력한다. 민주주의에서 투표와 국민들의 목소리는 주어진 접근 방식이 정말로 효과가 있는지에 대한 강력한 피드백을 제공한다. 그러나 권위주의 체제는 역사적으로 좋은 피드백을 받는 데 훨씬 더 어려움을 겪어왔다. 정보화 시대 이전에는, 그들은 국내 정보뿐만 아니라 청원서와 비밀 여론 조사에 의존하여 시민들이 무엇을 믿고 있는지 알아내려고 노력했다.

이제 기계학습은 새로운 기술이 잘못된 정보를 촉진하고, 기존 편견을 악화시켜 데이터에 숨겨진 편견을 가져가고 잘못된 주장으로 자신 있게 변형시키면서 전통적인 형태의 민주적 피드백(목소리와 투표)을 방해하고 있다.

한편, 어둠 속에서 더듬거리는 독재자들에게는 “기계학습은 자신들의 기도에 대한 (매우 기대되는) 답”처럼 보일 것이다. 그러한 기술은 통치자들에게 조사나 공개 토론과 선거의 정치적 위험 없이 그들의 주체가 무엇을 하고 있는지 알려줄 수 있다. 이러한 이유로, 많은 관측통들은 AI의 발전이 독재자의 손을 강화시킬 뿐이며, 나아가 그들이 사회를 통제할 수 있게 할 것이라ㄴ즌 점을 우려하고 있다.

진실은 더 복잡하다. 편견은 명백한 민주주의의 문제이다. 그러나 그러한 것은 더 눈에 띄기 때문에, 시민들은 다른 형태의 피드백을 통해 그것을 완화할 수 있다. 예를 들어, 한 인종 집단이 고용 알고리즘이 그들에게 편향되어 있다고 볼 때, 그들은 항의하고 어느 정도의 성공 가능성을 가지고 보상을 요구할 수 있다.

권위주의 국가들은 아마 적어도 민주주의 못지않게 편향되기 쉬울 것이고, 어쩌면 더 그럴 것이다. 이러한 편견의 상당 부분은 특히 상부의 의사 결정권자들에게 보이지 않을 가능성이 높다. 지도자들이 무언가를 바로잡을 필요가 있다는 것을 알 수 있다 하더라도 바로잡는 것을 훨씬 더 어렵게 만들 수 있다는 점이다.

일반적인 통념과는 달리 AI는 현실 세계에 대한 더 나은 이해를 희생시키면서, 그들 자신의 이념과 환상을 강화함으로써, 독재 정권의 기반을 심각하게 훼손시킬 수 있다. 민주주의 국가들은 인공지능에 관한 한 21세기의 핵심 도전은 기술적 우위를 위한 싸움에서 이기지 못하는 것임을 발견할 수도 있다. 대신, 그들은 AI로 인한 망상의 소용돌이(spiral of delusion)에 빠져 있는 권위주의 국가들과 싸워야 할 것이다.

* 불량 피드백

AI에 대한 대부분의 논의는 데이터 간의 관계를 추출하는 통계 알고리즘인 기계학습과 관련이 있다. 이러한 알고리즘은 다음과 같이 추측한다. 이 사진에 강아지가 있나요? 이 체스 전략이 10수 만에 경기를 이길 수 있을까? 이 반쯤 끝난 문장의 다음 단어는 무엇일까? 결과를 채점하는 수학적 수단인 이른바 객관적 함수는 알고리즘이 정확하게 추측할 경우 보상을 줄 수 있다.

이 과정은 상업용 AI가 작동하는 방식이다. 예를 들어, 유튜브는 사용자들이 광고를 계속 볼 수 있도록 더 많은 비디오를 보면서 계속 참여하기를 원한다. 목표 기능은 사용자 참여를 극대화하기 위해 설계돼 있다. 이 알고리즘은 사용자의 시선을 페이지에 고정시키는 콘텐츠를 제공하려고 한다.

추측이 맞았는지 틀렸는지에 따라, 알고리즘은 사용자가 반응할 수 있는 것에 대한 모델을 업데이트한다. 인간의 개입이 거의 없거나 전혀 없이 이 피드백 루프(loop)를 자동화하는 기계학습의 능력은 전자상거래를 재구성했다. 비록 이러한 발전이 엔지니어들이 예상했던 것보다 훨씬 더 어려운 문제로 판명되었지만, 언젠가는 완전한 자율주행 자동차를 허용할 수도 있다.

자율무기(autonomous weapons) 개발하는 것은 여전히 더 어려운 문제이다. 알고리즘이 정말로 예상치 못한 정보와 주칠 때, 알고리즘은 종종 그것을 이해하지 못한다. 인간이 쉽게 이해할 수 있지만, 기계학습이 ‘적대적 예(adversarial examples)’로 잘못 분류하는 정보는 작품을 더 나쁘게 만들 수 있다. 예를 들어, 정지 표지판에 붙여진 흑백 스티커는 자율 주행차의 시각 시스템이 표지판을 인식하지 못하게 할 수도 있다. 이러한 취약성은 전시(戰時)에서 AI의 유용성에 명백한 한계를 시사한다.

기계학습의 복잡성에 대해 깊이 파고드는 것은 기술적 우위에 대한 논쟁을 이해하는 데 도움이 된다. 그것은 왜 컴퓨터 과학자 ‘리 카이 푸’와 같은 일부 사상가들이 데이터가 그렇게 중요하다고 믿는지를 설명해주고 있다. 데이터가 많을수록 알고리즘의 성능을 더 빠르게 향상시킬 수 있으며, 작은 변경에도 결정적인 이점을 얻을 때까지 작은 변경을 반복할 수 있다.

하지만 기계학습에는 한계도 있다. 예를 들어, 기술회사의 막대한 투자에도 불구하고, 알고리즘은 사람들이 다른 제품보다 거의 동일한 제품을 구매하도록 하는 데 일반적으로 이해되는 것보다 훨씬 덜 효과적이다. 얄팍한 선호를 안정적으로 조작하는 것은 어렵고, 아마도 사람들의 깊이 박혀 있는 의견과 믿음을 바꾸는 것은 훨씬 더 어려울 것이다. “열길 물속은 알아도 한 길 사람 속은 모른다”는 말과 같다. AI 기계학습의 분명한 한계이다.

인간이 할 수 있는 것처럼 한 문맥에서 교훈을 얻어 다른 문맥에 적용할 수 있는 시스템인 일반 AI는 비슷한 한계에 직면해 있다. 넷플릭스(Netflix)의 사용자 성향과 선호도에 대한 통계 모델은 둘 다 비슷한 결정에 고군분투하는 동일한 사람들을 모델링하려고 할 때에도 아마존과 거의 확실히 다르다.

청소년들을 (순식간에) 낚아채게 하는 짧은 동영상(앱 틱톡-TikTok의 승리)을 제공하는 것과 같은 AI의 한 분야에서 지배적인 것은 자율적인 전장 무기시스템을 만드는 것과 같은 다른 분야에서 지배적인 것으로 쉽게 변환되지 않는다.

알고리즘의 성공은 종종 기술자체보다는 다른 응용 프로그램에서 교훈을 번역할 수 있는 바로 그 인간, 그 엔지니어에게 달려 있다. 현재로서는 이러한 문제들이 해결되지 않은 채 남아 있다.

편향(Bias, 偏向)은 또 코드(code)로 슬금슬금 들어갈 수 있다. 아마존이 채용에 머신러닝을 적용하려고 할 때, 인력 채용자들이 평가한 이력서의 데이터에 대한 알고리즘을 훈련시켰다. 그 결과, 이 시스템은 여성의 이력서를 차별하면서 인간의 결정에 내재된 편견을 재현하기도 했다. 그러한 문제들은 자기강화(self-reinforcing)일 수 있다.

사회학자 루하 벤자민(Ruha Benjamin)이 지적했듯이, 정책 입안자들이 기계학습을 사용하여 경찰 병력을 어디로 보낼지 결정한다면, 이 기술은 체포율이 높은 지역에 더 많은 경찰을 배치하도록 안내할 수 있으며, 그 과정에서 경찰이 편견을 보이는 인종 집단이 있는 지역에 더 많은 경찰을 파견할 수 있다. 이는 더 많은 체포로 이어져 알고리즘을 악순환의 강화로 가게 할 수 있다.

“쓰레기를 넣으면, 쓰레기가 나온다(garbage in, garbage out)”이라는 오래된 프로그래밍 격언은 입력이 출력에 영향을 미치고, 그 반대도 마찬가지인 세상에서 다른 의미를 갖는다. 적절한 외부 수정 없이, 기계학습 알고리듬은 그들 자신이 생산하는 쓰레기에 대한 취향을 획득하여 잘못된 의사결정의 고리를 생성할 수 있다.

정책 입안자들은 너무 자주 기계학습 도구를 자기들이 해결할 수 있다고 주장하는 문제를 심화시킬 수 있는 잘못된 도구라기보다는 현명하고 감정에 좌우되지 않는 정보로 취급한다.

* 통화 및 응답

정치시스템도 피드백 시스템이다. 민주주의 국가에서 대중은 말 그대로 자유롭고 공정해야 할 선거에서 지도자를 평가하고 점수를 매긴다. 정당들은 권력을 얻고 그것을 고수하는 것을 목표로 약속(공약)을 한다. 법적인 반대파(야당)는 정부의 실수를 강조하는 반면, 자유언론(free press)은 논란과 악행에 대해 보도한다.

재임 중인 사람들은 정기적으로 유권자들을 마주하고, 그들이 대중의 신뢰를 얻었는지 잃었는지 여부를 계속해서 반복하는 순환과정에서 배우고, 교훈을 얻는다. 그러나 민주주의 사회의 피드백은 완벽하게 작동하지 않는다.

대중은 정치에 대한 깊은 이해를 가지고 있지 않을 수 있고, 정부가 통제할 수 없는 것들에 대해 처벌할 수도 있다. 정치인들과 그들과 함께 일하는 사람들은 대중(the public)이 원하는 것을 오해할 수 있다.

야당은 거짓말을 할 수도 있고, 과장을 할 동기를 충분히 가지고 있는 게 현실이다. 선거에서 경쟁하는 것은 돈이 들고, 진정한 결정은 때때로 비공개로 이루어진다. 언론 매체는 편파적이거나 소비자를 교화시키는 것보다 소비자를 즐겁게 하는 데 더 신경을 쓸 수 있다.

마찬가지로, 피드백은 학습을 가능하게 한다. 정치인들은 ‘대중이 원하는 것’을 배운다. 학습효과(studying effect)이다. 대중은 ‘무엇을 기대할 수 있는지, 무엇을 기대할 수 없는지’ 배운다. 사람들은 열린 자세로 공개적으로 정부의 실수를 비판할 수 있다.

새로운 문제들이 등장함에 따라, 새로운 그룹들은 그 새로운 것들을 홍보하기 위해 조직될 수 있고, 다른 사람들이 그것들을 해결할 수 있도록 설득하려고 노력할 수 있다. 이 모든 것은 정책 입안자들과 정부가 복잡하고 끊임없이 변화하는 세계에 참여할 수 있게 한다.

하지만, ‘피드백은 독재국가에서 매우 다르게 작용’한다. 리더는 자유롭고 공정한 선거를 통해 선출되는 것이 아니라, 무자비한 승계 투쟁과 종종 내부 승진을 위한 불투명한 시스템을 통해 선출된다. 심지어 정부에 대한 반대가 공식적으로 합법적인 곳에서도, 낙담하기도 하고, 때로는 잔인하기도 하다.

언론이 정부를 비판하면 법적 조치와 폭력을 감수해야 한다. 선거가 있을 때, 조직적으로 현직 의원들에게 유리하게 기울어진다. 기울어진 운동장이라는 것이다. 지도자를 반대하는 시민들은 조직적으로 어려움을 겪을 뿐만 아니라, 그들은 투옥과 죽음을 포함하여 목소리를 높인 것에 대해 가혹한 처벌을 받을 위험성이 도사리고 있다.

이러한 모든 이유로, 권위주의 정부는 종종 세상이 어떻게 돌아가는지, 그들과 시민들이 무엇을 원하는지 잘 알지 못한다.

그러므로 그러한 시스템은 단기적인 정치적 안정과 효과적인 정책 결정 사이의 상호 거래에 직면한다. 전자의 권위주의적 지도자들이 외부인이 정치적 의견을 표현하는 것을 차단하는 경향이 있는 반면 후자의 필요성은 그들이 세계와 그들의 사회에서 일어나고 있는 일에 대해 어느 정도 이해하도록 요구한다.

정보에 대한 엄격한 통제 때문에, 권위주의 통치자들은 민주적인 지도자들이 할 수 있는 것처럼 수정 피드백(corrective feedback : 바로잡기)을 제공하기 위해 시민, 언론 및 야당의 목소리에 의존할 수 없다. 그 결과 권위주의 통치자들은 장기적인 합법성과 통치능력을 훼손할 수 있는 정책 실패를 감수해야만 한다.

예를 들어 블라디미르 푸틴 러시아 대통령의 우크라이나 침공이라는 재앙적인 결정은 우크라이나 사기(morale, 의기충천)와 러시아 자국 군대의 전력에 대한 부정확한 평가에 근거한 것으로 보인다.

기계학습의 발명 이전에도 권위주의 통치자들은 대중의 피드백을 위한 조잡하고 불완전한 대용물로 ‘정량적 측정( quantitative measures)’을 사용했다. 수십 년 동안 분산된 시장 경제와 몇 가지 중요한 통계, 특히 국내총생산(GDP)에 대한 중앙 집중식 정치적 감독을 결합하려고 했던 중국을 예로 들어보면 쉽게 이해할 수 있다.

지방 공무원들은 그들의 지역(각각의 성-省)이 특히 빠르게 성장한다면 승진할 수 있을 것이다. 그러나 베이징의 제한된 정량화된 비전은 그들에게 ‘부패, 부채, 오염’과 같은 넌더리나는 문제들(festering issues)을 해결할 동기를 거의 제공하지 않았다.

놀랄 것도 없이, 중국의 각 지방 공무원들은 종종 통계를 조작하거나 그들의 후임자들에게 장기적인 문제를 맡긴 채 단기적으로 GDP를 끌어올리는 정책을 추구했다. 그야말로 전시행정 (window dressing) 혹은 보여주기식(ghetto-fabulous style), 책임회피(cop-out)식 정책을 선호하기도 한다.

세계는 2019년 말 중국 후베이성(湖北省)의 성도(省都)인 우한(武汉에서 시작된 신종 코로나바이러스(COVID-19)의 세계적 대유행(pandemic, 팬데믹)에 대한 중국의 초기 대응에서 이러한 역동성을 엿볼 수 있었다.

중국은 2003년 중증급성호흡기증후군(SARS, 사스) 위기 이후 인터넷 기반 질병 보고 시스템을 구축했지만, 우한의 지방 당국은 이 시스템을 사용하는 대신 ‘유사(類似) 사스(SARS-like)’ 전염의 존재를 처음 보고한 의사를 처벌하는 상식에서 벗어난 일은 감행했다.

우한 정부는 중요한 지방 정치 회의가 끝날 때까지 계속해서 “새로운 (감염) 사례가 없다”고 반복하면서, 발병 정보가 베이징에 도달하는 것을 막기 위해 열심히 노력했다. 의사인 리원량(李文亮) 자신도 이 병에 걸려 2020년 2월 7일 사망하면서 국내외적으로 격렬한 분노를 촉발시켰다.

이어 베이징은 환자 수를 억제하기 위해 강압적인 조치를 사용하는 “제로 코로나(zero COVID)" 접근법을 채택, 팬데믹에 대한 대응을 이어나갔다. 이 정책은 단기적으로 잘 먹혀 들어갔지만, 변종 오미크론(Omicron) 바이러스의 엄청난 전염성으로 인해, 제로 코로나 정책은 점점 더 피비린내 나는 승리만을 가져온 것으로 보이며, 제로 코로나 정책의 핵심은 이른바 도시봉쇄(Lockdown, 록다운)로 사람들을 굶주리게 하고 경제를 깊은 수렁으로 빠뜨리는 결과를 초래했다. 제로 코로나 정책의 성공이라 할 것은 ”감염자 수를 낮게 유지한다는 단 한 가지 중요한 측정 기준을 달성하는 것“이었다.

데이터는 선거나 자유 미디어의 정치적 위험과 불편함을 전혀 고려하지 않고, 세상과 그 문제를 설명하는 객관적인 조치를 제공하는 것 같다.

그러나 정치가 없는 의사결정 같은 것은 없다. 엉망진창의 민주주의와 정신 나간 피드백 과정의 위험은 미국 정치에 관심을 기울이는 사람이라면 누구나 분명히 알 수 있다. 독재국가는 즉시 인지할 수 없지만 비슷한 문제를 겪는다.

공무원들이 숫자를 지어내거나 시민들이 분노를 대규모 시위로 바꾸기를 거부하는 것은 심각한 결과를 초래할 수 있으며, 단기적으로는 잘못된 결정을 내릴 가능성이 더 높고, 장기적으로는 정권 실패 가능성이 더 높다.

* 함정 ?

가장 시급한 문제는 AI 주도권 경쟁에서 미국이나 중국이 누가 이기고 지느냐의 문제가 아니다. AI가 민주주의와 독재 국가가 사회를 통치하기 위해 의존하는 다양한 피드백 고리를 어떻게 변화시킬 것인가이다.

많은 관찰자들은 기계학습이 더 보편화됨에 따라 불가피하게 민주주의를 해치고 독재정치에 도움이 될 것이라고 제안했다. 예를 들어 참여를 최적화하는 소셜미디어(SNS) 알고리즘은 시민 피드백의 질을 손상시켜 민주주의를 훼손할 수 있다고 그들은 본다.

사람들이 비디오를 차례로 클릭할 때, 유튜브의 알고리즘은 그들을 계속 참여시키기 위해 충격적이고 놀라운 콘텐츠를 제공한다. 이 내용은 종종 음모론이나 모든 것이 거꾸로 되어 있는 어두운 불가사의한 나라로 시민들을 유인하는 극단적인 정치적 견해를 포함한다.

대조적으로, 기계학습은 사람들에 대한 더 큰 통제를 용이하게 함으로써 독재 국가를 돕도록 되어 있다. 역사학자 유발 하라리(Yuval Harari)와 많은 다른 학자들은 AI가 ‘폭정에 찬성한다(favors tyranny)’고 주장한다. 그들에 따르면, AI는 데이터와 권력을 중앙 집중화해 지도자들이 ‘감정 버튼(emotional buttons)’을 누르도록 계산된 정보를 제공해 일반 시민들을 조종할 수 있게 한다.

피드백과 반응의 이 끝없이 반복되는 과정은 보이지 않는 효과적인 형태의 사회 통제를 생산하도록 되어 있다. 소셜미디어는 권위주의 정부가 대중의 마음을 사로잡을 뿐만 아니라 대중의 맥박을 잡을 수 있도록 한다.

물론 이러한 주장은 불확실한 토대에 기초하고 있다.

페이스북 내부로부터의 유출은 알고리즘이 실제로 사람들을 급진적인 콘텐츠로 이끌 수 있다는 것을 암시하지만, 최근의 연구는 알고리즘 자체가 사람들이 찾고 있는 것을 바꾸지 않는다는 것을 나타내고 있다.

극단적인 유튜브 영상을 검색하는 사람들은 그들이 원하는 것보다 더 많은 것을 향해 안내될 가능성이 높지만, 위험한 콘텐츠에 이미 관심이 없는 사람들은 알고리즘의 권고를 따르지 않을 것 같다. 만약 민주주의 사회의 피드백이 점점 더 혼란스러워진다면, 기계학습이 전적으로 잘못되지는 않을 것이다. 그것은 단지 도움의 손길을 내밀었을 뿐이다.

기계학습이 민주주의를 공동화하고 권위주의를 강화하는 일종의 일반화된 마인드 컨트롤을 가능하게 한다는 그럴듯한 증거는 없다. 만약 알고리즘이 사람들이 물건을 사도록 하는데 매우 효과적이지 않다면, 아마도 정치와 같이 밀접하게 유지된 가치에 대한 생각을 바꾸게 하는 데 훨씬 더 나쁠 것이다.

영국 정치컨설팅업체 케임브리지 애널리티카(Cambridge Analytica)가 2016년 도널드 트럼프 미국 대선을 고치기 위해 어떤 마술적 기법을 사용했다는 주장이 풀렸다. 트럼프 캠페인에 제공된 회사의 비밀소스는 제한된 유용성의 표준인 사이코메트릭 표적 기술(psychometric targeting techniques-인성 조사를 사용해 사람들을 분류하는 것)로 구성된 것처럼 보였다.

실제로, 완전히 자동화된 데이터 중심 권위주의는 소수의 고립된 의사결정권자 그룹에 권한을 집중하는 중국과 같은 국가들에게 함정이 될 수 있다. 민주주의 국가들은 정부가 궤도를 이탈할 경우, 이를 확인할 수 있는 대안적인 형태의 시민 피드백인 수정 메커니즘(correction mechanisms)을 가지고 있다. 그러나 권위주의 정부는 기계학습을 두 배로 늘이면서도 수정 메커니즘은 없다.

유비쿼터스 국가 감시(ubiquitous state surveillance)는 단기적으로 효과적일 수 있지만, 위험은 권위주의 국가가 기계학습이 촉진하는 자기 강화 편향(self-reinforcing bias)의 형태로 약화된다는 것이다.

국가가 기계학습을 널리 사용함에 따라, 리더의 이념은 기계학습이 어떻게 사용되는지, 기계학습이 최적화되는 목표, 그리고 결과를 어떻게 해석하는지를 구체화할 것이다. 이 과정을 통해 드러나는 데이터는 지도자의 편견을 곧바로 그에게 반영할 것이다.

과학기술분야 전문가(소셜미디어 북마크 사이트 핀 보드의 개발자)인 마치에이 세그로브스키(Maciej Ceglowski)가 설명했듯이, 기계학습은 “편향을 위한 돈 세탁(money laundering for bias)”이며, “현상에 논리적 필연성의 아우라(aura, 독특한 기운)를 주는 깨끗하고 수학적인 장치”라고 혹평하기도 했다.

예를 들어, 각 국가가 소셜미디어 불평사항들을 발견하고 그것들을 제거하기 위해 기계학습을 사용하기 시작하면 어떤 일이 일어날까 ?

지도자들은 정책 실수를 보고 바로잡는 데 어려움을 겪을 것이다. 심지어 실수가 정권을 손상시킬 때도 그렇다. 2013년 한 연구는 중국이 온라인 불만 제거가 예상보다 느리다고 추측했는데, 바로 그러한 악재가 지도부에 유용한 정보를 제공했기 때문이다.

그러나 중국 정부가 사회적 화합을 점점 더 강조하고, 고위 관리들을 보호하려고 하고 있기 때문에, 그러한 간접적인 접근은 유지하기가 더 어려울 것이다.

시진핑 중국 국가주석은 적어도 일부 정책 영역에서 이러한 문제를 인식하고 있는 것으로 보인다. 그는 오랫동안 농촌 빈곤퇴치(antipoverty)를 위한 빈곤 퇴치 캠페인이 스마트 기술, 빅 데이터, AI로 구동되는 상징적인 승리였다고 주장했다.

그러나 그는 그 이후 공무원들이 빈곤 통계를 내기 위해 시골집에서 사람들을 밀어내고 도시 아파트에 은닉한 사례들을 포함한 선거운동의 결점을 인정했다. 재정착한 사람들이 다시 빈곤층으로 떨어지자, 시 주석은 빈곤 수준에 대한 ‘일률적인 양적 목표(uniform quantitative targets)’가 앞으로 올바른 접근이 아닐 수 있다는 점을 우려했다.

데이터는 실제로 새로운 석유일 수 있지만, 정부의 통치 능력을 향상시키기보다는 오염시킬 수도 있다. 이 문제는 서구 논평가들이 완벽하게 작동하는 “인권을 침해하는 AI 기반 감시 체제”로 묘사하는 친(親)사회적 행동을 추적하는 기관인 중국의 이른바 사회신용시스템(social credit system)에 영향을 미친다.

샤제다 아흐메드(Shazeda Ahmed)와 카렌 하오(Karen Hao) 같은 정보정치(information politics) 전문가들이 지적했듯이, 이 시스템은 사실 훨씬 엉망진창이다. 중국의 사회신용시스템은 사실 완벽한 오웰식 디스토피아(Orwellian dystopia, 전체주의적 반-反-이상향)라기보다는 공정신용보고법(FCRA, Fair Credit Reporting Act)과 같은 법으로 규제되는 미국의 신용시스템에 더 가까워 보인다.

더 많은 기계학습은 또 권위주의 정권이 잘못된 결정을 두 배로 늘릴 수 있도록 이끌 수 있다.

기계학습이 체포 기록(arrest records)을 기반으로 가능한 반체제 인사들을 식별하도록 훈련된다면, 민주주의에서 볼 수 있는 것과 유사한 ‘자기 강화 편견’을 일으킬 가능성이 높다. 즉, 불리한 사회 집단에 대한 관리자의 믿음을 반영하고, 긍정하며, 무자비하게 자동화된 의심과 반발을 영구화시킬 수 있다.

민주주의에서는 아무리 불완전해도 대중의 반발(public pushback)이 가능하다. 그러나 독재 정권에서 저항은 훨씬 더 어렵다. 저항이 없으면, 관료와 알고리즘이 같은 편견을 공유하는 시스템 내부의 사람들에게는 이러한 문제가 보이지 않는다. 좋은 정책 대신, 증가하는 병리, 사회적 기능 장애, 분노, 그리고 결국 불안과 불안정으로 이어질 것이다.

* 무기화된 인공지능(AI)

인공지능(AI)의 국제 정치는 단순한 지배 경쟁(race for dominance)을 만들지 않을 것이다. 이 기술이 경제적이고 군사적인 무기라는 조잡한 견해와 데이터가 실제 행동의 많은 부분을 은폐하는 힘이라는 견해이다.

사실, AI의 가장 큰 정치적 결과는 민주주의와 권위주의 국가 모두가 의존하는 피드백 메커니즘이다. 일부 증거는 AI가 많은 사람들이 제안하는 것만큼 큰 역할을 하지는 않지만, 민주주의에서 피드백을 방해하고 있음을 나타낸다.

대조적으로, 권위주의적인 정부가 기계학습에 더 많이 의존하면 할수록, 그들은 스스로의 기술 확대된 편견(tech-magnified biases)에 기반을 둔 상상의 세계로 자신들을 더 나아가게 할 것이다.

예일 대학의 정치학자 제임스 스콧(James Scott)의 1998년 고전 “국가처럼 보기 : 싱 라이크 어 스테이트(Seeing Like a State)”는 20세기에 전성시대를 영위한 국민 국가가 사회와 자연을 어떻게 인식하고 또 독해했으며, 이에 기초해 세상을 어떻게 변형시키고자 했는지, 그리고 궁극적으로 그러한 시도들이 왜 대부분 실패로 끝났는지를 밝히고 있다.

그러면서 이 책은 “현대국가들이 국가의 눈으로 세상을 보고, 국가의 힘으로 세상을 바꾸고자 했으나, 그 목적을 현실적으로 이루기가 어려운 것은 물론 인류 문명에 엄청난 해악을 초래했다”고 지적하기도 했다.

사회학자 메리언 포케이드(Marion Fourcade)와 다른 사람들이 주장했듯이, 기계학습은 같은 문제를 제기할 수 있지만 훨씬 더 큰 규모로 할 수 있다. 이 문제는 미국과 같은 민주주의 국가들에게 매우 다른 국제적 도전들을 만들어낸다. 예를 들어, 러시아는 러시아 대중 사이에 혼란과 혼동을 뿌리기 위해 고안된 허위 정보 캠페인(disinformation campaigns)에 투자했다. 그리고 같은 도구를 민주주의 사회에도 적용을 시도해왔다.

비록 자유언론 옹호자들이 오랫동안 나쁜 언론에 대한 답은 ‘더 나쁜 언론’이라고 주장해왔다. 푸틴은 ‘더 나쁜 언론’에 대한 최고의 응답은 “더욱 더 나쁜 언론”이라고 판단했다. 그런 다음 푸틴은 민주주의의 공개 피드백 시스템을 활용하여 “아주 잘못된 정보를 투입” 민주주의의 시스템을 오염시키려 시도해왔다. 일정 정도 성공을 거두기도 했다.

최근 빠르게 부상하는 문제 가운데 하나는 러시아와 같은 독재 국가가 언어적 촉발에 대응해 텍스트나 이미지를 생성할 수 있는 새로운 형태의 AI인 대규모 언어 모델을 무기화하여, 그 규모에 맞는 잘못된 정보를 생성하는 방법이다.

컴퓨터 과학자 팀니트 게브루(Timnit Gebru)와 그녀의 동료들이 경고했듯이, “공개적인 AI의 GPT-3 시스템(Open AI’s GPT-3 system)과 같은 프로그램은 일반적인 인간의 글과 구별하기 어려운 겉보기에 유창한 텍스트를 생성할 수 있다. 새로운 오픈 액세스 대형 언어 모델(open-access large language model)인 블룸(Bloom)이 누구나 사용할 수 있도록 출시되기도 했다. 사람들이 남용이나 오용을 피하게 하기 위해 면허증(license)이 필요하지만, 경찰들에게는 매우 어려운 일이다.

이러한 발전은 민주주의에서 피드백에 심각한 문제를 일으킬 수 있을 것이다. 현재의 온라인 정책 논평 시스템은 논평자가 실제 인간인지 여부를 입증하는 데 거의 증거가 필요하지 않기 때문에 거의 확실히 비운을 맞이했다. 대형 통신회사의 계약자들은 이미 망 중립성 법(net neutrality laws)에 반대하는 캠페인의 일환으로 도난당한 이메일 주소와 관련된 가짜 댓글(bogus comments)로 미국 연방통신위원회(U.S. Federal Communications Commission)에 넘쳐나고 있다.

그래도 거의 똑같은 댓글이 수만 개 올라오면 속임수를 쉽게 알아낼 수 있었다. 지금, 또는 가까운 미래에, 대규모 언어 모델이 망 중립성을 비난하는 부동층 스타일로 2만 개 혹은 그 이상의 다른 의견을 쓰도록 촉구하는 것은 아주 간단할 것이다.

인공지능의 연료라고 할 수 있는 ‘잘못된 정보들’은 독재국가에게도 ‘독’이 될 수 있다. 권위주의적인 정부가 잘못된 정보로 그들 자신의 공개 토론의 씨앗을 뿌리기 때문에, 반대를 깨뜨리기는 쉬워지지만, 대중이 실제로 무엇을 믿고 있는지 말하기 어려워져 정책 결정 과정이 크게 복잡해질 가능성이 매우 높아질 것이다. 따라서 권위주의적인 지도자들은 시민들이 매우 인기 없는 정책을 용인하거나, 심지어 좋아한다고 믿게 만들면서, 자신들의 정책에 대한 좋은 평가를 받는 것이 점점 더 어려워질 것이다.

* 위협의 공유

만약 그들이 점차적으로 각자의 비정상적인 정보 피드백 고리 안에 가두어지는 것처럼 중국과 같은 권위주의 국가와 함께 세계적으로 공유하면 어떻게 될 수 있을까 ?

이러한 과정이 사이버네틱 지침(cybernetic guidance)을 제공하는 것을 중단하고, 대신 통치자의 두려움과 믿음을 반영할 때 무슨 일이 일어날까?

민주적 경쟁자들에 의한 한 가지 자기중심적인 반응은 권위주의 정부를 약화시키는 모든 것을 순이익으로 보고 독재자들을 제멋대로 내버려 두는 것이다. 그러나 이러한 반응은 인도주의적 재앙을 초래할 수 있다.

위구르족에 대한 정책과 같은 현재 중국의 많은 편견은 매우 악성이며 앞으로 훨씬 더 악화될 수 있다. 베이징이 현실을 보지 못한 이전의 결과로는 1959년부터 1961년 사이에 약 3천만 명의 목숨을 앗아간 대기근(great famine)이 있었고, 이념적으로 추진된 정책에 의해 촉발되었으며, 지방 관리들이 정확한 통계를 보고하기를 꺼리는 바람에 그러한 사실들이 숨겨졌다.

완고한 냉소주의자 혹은 극단적 금욕주의를 주장하는 자(cynics)라도 중국과 다른 곳에서 AI로 인한 외교 정책 재앙의 위험을 인식해야 한다. 예를 들어, 민족주의적 편견을 증폭시킴으로써, AI가 영토 정복에 참여하려는 강경파의 파벌싸움을 쉽게 격화시킬 수 있다.

아마도 훨씬 더 냉소적으로, 서구의 정책 입안자들은 권위주의 정보 시스템의 폐쇄루프(closed loops)를 이용하려는 유혹을 받을 수 있다. 지금까지, 미국은 독재 사회에서 인터넷 자유를 촉진하는 데 초점을 맞추어 왔다. 대신, 이러한 정권에서 일어나기 쉬운 편향 루프(bias loops)를 강화함으로써 권위주의적 정보 문제를 악화시키려 할 수 있다.

안타깝게도 민주적 시스템과 독재적 시스템을 분리할 수 있는 가상의 벽은 없다. 잘못된 데이터(bad data)와 말도 안 되는 믿음(crazy beliefs)이 권위주의 사회에서 민주주의 사회로 새어나갈 수 있을 뿐만 아니라, 끔찍한 권위주의 결정은 민주주의 국가들에게도 예측할 수 없는 결과를 초래할 수 있다.

정부가 AI에 대해 생각할 때에는 “권위주의 정부의 문제가 민주주의로 쏟아질 가능성이 있는 상호의존적인 세계에 살고 있다”는 것을 깨달아야 한다.

그렇다면 더 지능적인 접근 방식은 국제 거버넌스(international governance)를 위한 공유 협정(shared arrangements)을 통해 AI의 약점을 완화하는 방법을 모색할 수 있다. 현재 중국의 AI 규제에 대한 적절한 대응에 대해 국가마다 의견이 엇갈리고 있다. 예를 들어, 중국의 사이버 공간 관리국, 정보통신 기술 아카데미, 그리고 과학기술부는 모두 AI 규제에 대한 원칙을 제안했다.

일부에서는 민간부문을 제한하고 정부의 자유를 허용하는 하향식 모델을 선호한다. 적어도 암묵적으로, 다른 사람들도 AI가 정부에 미치는 위험을 인식하고 있다. 광범위한 국제 규제 원칙을 만드는 것은 AI의 정치적 위험에 대한 지식을 전파하는 데 도움이 될 수 있다.

이러한 협력적 접근은 점점 커지는 미-중 경쟁의 맥락에서 이상하게 보일 수 있다. 그러나 신중하게 조정된 정책은 워싱턴과 동맹국들에게 도움이 될 수 있다. 한 가지 위험한 길은 미국이 AI 지배 경쟁에 빨려 들어가는 것이며, 이는 경쟁 관계를 더욱 확장시킬 것이다.

또 다른 것은 권위주의의 피드백 문제를 더 악화시키도록 노력하는 문제이다. 둘 다 재앙과 전쟁이 일어날 수 있는 위험을 무릅쓰는 것이다. 그렇다면 모든 정부가 AI의 공유 위험을 인식하고 이를 줄이기 위해 협력하는 것만이 훨씬 안전하다는 것을 인식해야 한다.