냉전 초기 관찰자들은 당시 최악의 핵 재앙(nuclear catastrophe)이 알려지지 않은 우크라이나의 원자력 발전 시설에서 발생할 것이라고는 그 누구도 상상할 수 없었다. 1986년 체르노빌 참사는 결함이 있는 원자로 설계와 발전소 운영자들에 의한 일련의 실수의 결과였다.

세계의 강대국들이 잠재적으로 세계 종말 규모의 군비 경쟁에 나선다는 사실은 당시 실험적인 신기술이었던 핵 발전이 어떤 위험을 초래할지 그렇게 심각하게 받아들이는 경향은 덜했다.

1962년 쿠바 미사일 위기와 같은 충격적인 사건들에도 불구하고, 권위주의적인 위기 실수로, 악화된 단순한 안전조치의 실패로, 1945년 미국이 히로시마에 투하한 핵폭탄 방사능의 400배 이상이 비상(飛上)해 통제할 수 없는 방출로 이어졌다.

체르노빌로 인한 황폐화의 추정치는 수백에서 수만 명에 이르는 방사능으로 인한 조기 사망을 초래했으며, 황폐화 지역의 면적은 영국 런던의 두 배 크기이며, 오늘날까지 대부분 버려져 있는 “거주 금지 구역(exclusion zone)”으로 남아 있다.

세계가 새로운 경쟁의 시대로 접어들면서(이번에는 중국과 미국 사이에) 또 다른 혁명적인 기술인 인공지능(AI)에 대한 경쟁은 핵 경쟁에 의해 시작된 것과 유사한 군사적, 윤리적 우려를 촉발시키고 있다.

그러한 우려들은 받고 있는 관심을 받을 만한 가치가 있으며, 더 많은 것은 자율 무기와 기계 속도 전쟁 속의 세계가 인류에게 파괴적인 결과를 초래할 수 있다는 것이다.

미국의 대외문제 전문 매체인 ‘포린 어페어즈’는 5월 30일(현지시간) “중국이 신장 위구르족(무슬림 소수민족)에 대한 반인륜 범죄를 조장하기 위해 AI 도구를 사용하는 것은 이미 재앙에 해당한다”고 혹평했다.

그러나 AI 엔지니어가 실수로 사고를 일으켜 비극적인 결과를 초래할 가능성은 동등한 관심사가 아닐 수 없다. 인공지능 시스템은 원자로처럼 폭발하지는 않지만, 치명적인 새로운 병원체 개발부터 전력망 및 송유관과 같은 중요한 시스템의 해킹에 이르기까지 광범위한 파괴 가능성이 있다.

기술적 위험에 대한 중국의 느슨한 접근과 만성적인 위기관리 실수로 인해 AI 사고의 위험은 중국에서 가장 심각하다. 이러한 위험과 중국 국경을 훨씬 넘어서는 파급 가능성에 대한 명확한 평가는 AI 부문이 작업의 위험을 고려하는 방식을 재구성해야 한다고 매체는 주문했다.

* 같은 위험, 다른 감각

AI 위험을 특성화하는 것은 최근 몇 달 동안 공개적으로 논의되어 왔으며, 일부 전문가들은 초인적 지능이 언젠가 인류에게 실존적 위협이 될 것이라고 주장하는 반면 다른 전문가들은 “AI 두머들(AI doomers)”은 재앙을 초래할 것이라 굳게 믿는 있다고 비난을 쏟고 있다.

하지만 “AI 디스토피아(AI dystopia)”에 대한 가장 극단적인 두려움은 제쳐두고라도, 이전의 사건들은 가까운 장래에 의도하지 않은 대규모 재난에 대해 걱정할 많은 이유를 제공했다.

예를 들어, 알고리즘 거래가 2010년 “플래시 크래시(flash crash : 갑작스러운 붕괴)”에서 그랬던 것처럼 금융에서 AI 시스템 간의 기계 속도 상호 작용이 복잡해지면 시장이 의도치 않게 폭락할 수 있다. 이는 몇 분 안에 1조 달러 상당의 주식을 일시적으로 소멸시켰다.

2022년에 약물 연구원들이 AI를 사용하여 4만 개의 잠재적 생화학 무기를 6시간 이내에 개발했을 때, 그들은 상대적으로 간단한 AI 시스템이 파괴적인 효과에 쉽게 적응할 수 있다는 것을 증명했다.

정교한 AI 기반 사이버 공격도 2017년 러시아가 우크라이나에 대해 시작했지만, 결국 전 세계 컴퓨터를 감염시킨 악명 높은 낫페트야(NotPetya) 공격과 달리 사회가 의존하는 중요 시스템을 무차별적으로 탈선시킬 수 있다.

이러한 경고 신호에도 불구하고 AI 기술은 계속 무서운 속도로 발전하여 솔루션을 생성할 수 있는 것보다 안전 위험이 더 빠르게 증가하고 있다.

대부분의 미국인들은 이러한 위험의 구체적인 내용에 대해 잘 알지 못하지만, 그럼에도 불구하고, 복잡하고 결과적인 시스템에 강력한 신기술을 구축하는 것의 위험성을 인식하고 있다.

2022년에 발표된 입소스(Ipsos) 조사에 따르면, 미국인의 35%만이 AI의 이점이 위험을 초과한다고 믿으며, 미국은 이 기술의 가능성에 대해 세계에서 가장 비관적인 국가 중 하나가 되었다.

미국 인공지능 연구소의 엔지니어들에 대한 설문 조사는 그들이 더 넓은 대중보다 오히려 더 안전을 의식할 수도 있다는 것을 시사한다.

“AI의 대부(godfather of AI)”로 알려져 있고 최근까지 구글의 부사장이었던 제프리 힌튼(Geoffrey Hinton)은 과학자들이 "그들이 AI 기술을 통제할 수 있는지 여부를 이해할 때까지" 확장하는 것을 자제해야 한다며, 이를 홍보하기 위해 구글을 떠났다.

대조적으로 중국은 AI에 관해서는 세계에서 가장 낙관적인 국가로 순위를 매기고 있으며, 중국 국민 5명 중 4명이 위험에 대해 자국의 이익을 믿는다고 공언하고 있다.

미국 정부와 실리콘 밸리가 수년간 “빠르게 움직여 기존 질서를 깨버려라(move fast and break things)”에 대한 반발에 휩싸여 있는 반면, 중국의 기술 회사와 정부는 여전히 그러한 정신을 수용하는 것에 자부심을 가지고 있다.

중국 기술 리더들은 베테랑 AI 전문가이자 중국 기술 임원인 리카이푸(李開復, Kai-Fu Lee)의 말을 빌리자면, “위험에 민감한 미국 정치인들을 깜짝 놀라게 하며 AI 위험을 감수하겠다는 중국 정부의 의지에 열광하고 있다.”

* 재해 기억상실증

인공지능의 위험에 대한 중국과 미국의 인식 차이와 각 기술 부문의 위험 감수 의지는 우연이 아니다. 일반대중의 비난으로부터 정부를 보호하기 위해 재난에 대한 시민들의 경험을 체계적으로 억압하는 중국 정책의 결과이다.

미국에서는 석유 시추, 일상적인 식품 및 의약품 생산, 위험한 화학 물질의 가공과 같은 기계 집약적인 산업에서 재난이 미디어와 사회에 파급됨에 따라 대중의 의식이 높아지고 안전 조치가 강화되는 경향이 있다.

지금도 오하이오 주의 입법자들은 지난 2월 동(東)팔레스타인 마을 상공에서 유독 화학물질 기둥을 발사한 열차 탈선 사고 이후 새로운 안전 규정에 대해 진전을 이루고 있다.

그러나 중국에서는 국가가 안정적인 분위기를 지속적으로 조장하기 위해 정보에 대한 억제력을 유지하고 있기 때문에 이러한 유형의 사고가 언론을 통해 반향을 일으키는 경우는 거의 없다. 중국 공산당은 재난 대응이 잘못되었을 때 정보를 은폐하고 일상적으로 사망자 수를 조작하곤 한다.

정부는 1964년과 1996년 사이에 행해진 적어도 40번의 핵실험으로 인해 20만 명에 가까운 시민들이 조기에 사망하게 된 대량 방사선 중독과 같은 거대한 비극에 대해 보고하기는커녕 때때로 인정하기를 거부한다.

그 결과 대중이 변화를 요구하거나 정부가 비용이 많이 드는 사고로부터 배우도록 강요받는 일이 때때로 불가능한 재난 기억상실증(disaster amnesia)의 문화이다. 실수에 대한 책임이 거의 없다는 것은 중국의 소름끼치는 산업 사고 역사에서 입증되었듯이 사업주들이 안전을 가지고 노는 경향이 있다는 것을 의미한다.

불상사가 공개적으로 노출되는 드문 경우에도 심각한 개혁을 초래할 수 있는 유지력이 부족하다. 예를 들어, 2007년 독성 치약 대량 생산, 2008년 유아용 우유 조제 분유 독극물, 2011년 원저우 인근 고속열차 충돌에 대한 대중의 항의는 희생양이 되고, 정부 개혁 계획이 크게 발표되었지만 공공 안전에는 제한적인 영향을 미쳤다.

중국 정부는 종종 반응의 겉모습을 보여주지만, 그 후 사건에 대한 정보를 묻어버린다. 말 그대로 지금은 지하에 있는 원저우 열차 잔해의 경우이다. 중국이 이러한 사건이 발생했을 때보다 시진핑 치하에서 훨씬 더 제한적인 미디어 생태계를 가지고 있다는 점을 고려할 때, 오늘날 일반 대중의 노출 가능성은 훨씬 더 낮다.

대중의 의식에서 일상적으로 배제되는 신흥 기술의 최악의 충돌로 인해, 중국 사회는 특히 AI와 같은 새로운 기술에 대해 무한해 보이는 기술 낙관주의를 보여준다. 인류의 미래에 첨단기술이 어떤 영향을 미칠 것이며, 인간이 그러한 기술들을 어떻게 다루어야 위험을 회피할 수 있을까 등의 질문과 답을 찾는 노력은 중국에서는 어쩌면 연목구어(緣木求魚)일 수도 있다.

중국의 역사적인 빈곤으로부터의 상승이 고속 기술 발전과 함께 이루어졌다는 점을 고려할 때, 가속화된 과학 연구는 실질적으로 중국 시대정신의 국가적 진보와 동의어이며, 부정적인 측면이 거의 없는 것으로 간주된다는 것이 위험천만의 일이라 하지 않을 수 없다.

이러한 전면적인 접근법이 실행되는 것을 보려면, 세계 최초의 유전자 편집 아기를 만들기 위해 비밀리에 인간 배아를 유전적으로 수정하여 2018년 세계를 충격에 빠뜨린 중국 과학자 허젠쿠이(贺建奎, He Jiankui)를 보면 금방 알 수 있다.

그 의사는 자신의 업적에 대해 중국에서 높은 칭찬을 기대했고, 처음에는 칭찬을 받았지만, 중국 정부는 인류를 미지의 영역으로 밀어 넣으려는 그의 일방적인 결정에 대한 국제적인 분노에 대응하여 마음에 먹히지는 않았겠지만 방향을 틀었다.

그는 수정된 아기들(그리고 그들의 잠재적인 자손들)을 의도한 대로 HIV에 내성을 갖도록 하는 데 실패했을 뿐만 아니라 인플루엔자, 암 및 기타 질병에 대한 그들의 민감성을 잠재적으로 증가시켰다.

감옥에서 한 기간을 보낸 후, 그는 석방되었고 새로운 중국 법률과 함께 유사한 윤리적 문제와 잠재적으로 수익성이 높은 유전자 실험을 위한 허점을 제공하면서 연구를 계속하고 있다.

* 억제할 수 없는 야망

중국에서 실험 기술은 대부분 위험이 없는 것으로 간주될 뿐만 아니라, 중국은 2030년까지 “세계 최고의 인공지능 혁신 센터(the world’s premier artificial intelligence innovation center)”가 되기 위한 치열한 전력 질주를 약속했다.

인공지능에서 미국을 추월하려는 중국의 노력은 적어도 시진핑 주석이 “중국제조 2025(Made in China 2025)” 전략을 발표한 2015년 이후 공산당의 최우선 과제였다. AI에 대한 이러한 강조는 이후 다양한 국가 문서와 연설에서 반복 강조됐다.

인공지능은 중국의 군사 현대화 전략의 핵심이 되었고, 국가 감시, 억압 및 통제 시스템에 점점 더 필수적인 요소가 되고 있다. 중국 정부가 AI 분야에 연간 수백억 달러를 투자하고 방대한 스파이 네트워크를 활용해 외국 기업 기술 기밀을 훔치려 하는 것은 놀라운 일이 아니다.

중국의 AI 광풍이 빛을 발하고 있다. 중국은 다른 어떤 나라보다 최고 수준의 AI 엔지니어를 더 많이 배출하고 있다. 이는 가장 가까운 경쟁국인 미국보다 약 45% 더 많은 수치이다. 또 고품질 AI 연구를 발표하는 데 있어 미국을 추월하여 2021년 전 세계 AI 저널에 실린 인용문의 거의 30%를 차지했는데, 이는 미국의 15%와도 크게 비교가 된다. 2023년 중국은 세계에서 가장 많이 인용되는 인공지능 논문 상위 1%의 점유율에서 미국을 추월할 것으로 예상된다고 ‘포린 어페어즈’가 내다봤다.

미국 인공지능 국가안보위원회(U.S. National Security Commission)가 경고했듯이, “중국은 현재의 추세가 바뀌지 않는다면, 향후 10년 안에 AI 분야에서 미국을 능가할 힘과 재능, 야망을 가지고 있다.”

이론가들은 “인공지능 경쟁이 자칫 안전 문제에 대한 큰 위험을 초래할 수도 있다는 우려ㄱ”가 깊다고 말해왔다.

그러나 주요 강대국 간의 경쟁에서 기존의 현직자와 야심 찬 도전자는 대개 위험 혐오 수준이 크게 다르며, 후자는 인식된 비대칭성을 재조정하기 위한 노력에서 위험에 대한 훨씬 더 많은 욕구를 보여주는 경우가 많다.

오늘의 인공지능 전력질주(AI sprint)는 진보를 가속화하려는 베이징의 열망이 재앙을 불러온 첫 번째가 아닐 것이다. 중국 지도자 마오쩌둥이 1959년과 1961년 사이에 약 3천만 명의 사람들이 굶어죽는 이른바 대약진운동(Great Leap Forward)에서 농장을 집단화하고 농업 도구를 녹이고, 철강 생산을 극대화하려는 시도는 중국을 인류 역사상 최악의 기근에 빠뜨렸다.

이후, 1979년 한 자녀 정책(one-child policy)을 통해 인구 증가에 제동을 걸어왔던 중국의 시도(2015년에만 두 자녀 정책으로 조정)는 광범위한 강제 낙태와 영아 살해, 여성보다 약 3,300만 명 많은 남성의 인구 성비(性比) 불균형, 전국적으로 심각한 인구 고령화 위기로 이어졌다.

1990년대 중국이 상업 위성 발사 산업에 돈을 쏟아 붓는 것과 같은 덜 포괄적인 가속화 노력은 1996년 중국 마을에 로켓이 폭발하여 알려지지 않은 수의 희생자가 발생하는 등 비극을 촉발했다.

현재 월스트리트저널(WSJ)의 조사 보고서에 따르면, 중국의 야심에 찬 일대일로(BRI) 구상의 일환으로 전 세계에 건설된 수력발전소, 사회주택단지, 학교 등이 말 그대로 무너지고 있으며 이미 빈곤한 국가들에 막대한 비용을 부과하고 있다.

* 비극적인 기록

인공지능 능력에서 미국을 능가하려는 중국의 노력은 아직 어떤 위기도 만들지 못했다. 하지만 역사는 만약 그런 일이 일어난다면, 중국의 대응은 재앙이 될 것임을 시사한다.

권위주의 국가들은 일상적으로 비상사태를 잘못 관리하여, 사고를 전면적인 비극으로 바꿔버린다. 최악의 결과를 피하는 것은 특히 나쁜 소식을 암시할 수 있는 이상 징후를 일찍 인지하는 것에 달려 있다.

중국에서 우려할 만한 사태가 발생하면, 중국 공산당 간부들은 그들의 상급자에게 나쁜 소식을 보고함으로써 그들의 입장을 위험에 빠뜨리기보다는 문제가 되는 정보를 억제하도록 장려되어 재앙으로 가는 경향이 있는 악순환의 길을 가곤 한다. 마오쩌둥의 대약진으로 인한 기근이 대표적인 사례이다.

농장의 집단화와 녹여 쓸 수 있는 도구가 위기의 발판을 마련했다면, 결국 흉작을 눈덩이처럼 불어 대량 기아에 이르게 한 것은 위험의 초기 징후를 공식적으로 은폐한 때문이다. 같은 패턴이 현대 중국에서 불안할 정도의 빈도로 재발되곤 한다.

예를 들어, 1990년대에 적어도 100만 명의 중국 남성, 여성 및 어린이가 혈액을 판매하거나 오염된 혈액의 수혈을 받아 HIV에 감염되도록 만든 정부의 난독화(obfuscation) 계층을 생각해 볼 수 있다.

새롭게 시작되는 재난에 대한 정기적인 초기 보고에도 불구하고, 지역 공무원들은 그들의 경력을 보호하기 위해 수년 동안 공격적으로 증거를 은폐했다. 그들 중 많은 수가 탄압과 그 영향이 알려진 후에도 홍보되곤 했다.

치명적이었던 지난 2002년 사스(SARS)가 중국에서 발생한 것도 마찬가지로 중국 정부에 의해 약 4개월 동안 은폐됐었다. 이 치명적인 바이러스는 전 세계 8,000명 이상의 사람들을 감염시키고 774명의 목숨을 앗아갔다.

그리고 사스와 같은 은폐가 다시 발생하지 않도록 특별히 설계된 공중 보건 메커니즘에 8억 5천만 달러를 투자했음에도 불구하고, 정부는 코로나19 대유행에 대한 대응에서 유사한 경로를 따라갔다. 2019년 12월 중국 우한에서 첫 번째로 기록된 코로나 바이러스 사례와 2020년 1월 20일 중국이 인간 대 인간 전염 위험을 인정한 사이에 중요한 몇 주가 경과했다. 그 때까지 7백만 명의 사람들이 우한에서 다른 지역으로 자유롭게 이동하여 전국과 그 너머로 바이러스를 퍼뜨렸다.

코로나19 발생 기간과 이후 중국 정부는 바이러스에 대한 생명을 구하는 정보를 밝히려는 의사와 언론인을 괴롭히고 구금했다. 동시에, 그것은 세계보건기구(WHO)에 거짓말을 해서, 세계보건기구가 대유행 초기 몇 주 동안 코로나의 위험에 대해 치명적으로 잘못된 조언을 하도록 만들었다.

오늘날까지도, 중국 정부는 바이러스의 기원을 결정하는 데 필요한 투명성을 제공하기를 거부하고 있는데, 이는 아마도 또 다른 중국 첨단 기술 사고의 결과일 수도 있다.

* 주의에 주의를...

중국 AI 재앙의 위험에 회의적인 사람들은 중국 공산당 정부의 AI 규제에 대한 의지나 중국이 가장 정교하게 위험 감지 및 방지 능력을 구축하는 데 있어 여전히 미국에 뒤쳐져 있다는 사실을 지적할 수 있다.

중국 인터넷을 지배하는 규칙과 마찬가지로, 베이징의 인공지능 법률의 대부분은 기업들이 정부에 복종하고 서구의 경쟁자들과 경쟁할 수 있도록 하는 것을 목표로 하고 있다. 이 법들은 또한 공산당 정권을 위협하는 모든 정보를 억제하기 위해 고안됐다.

그리고 최첨단 AI 기술에서 미국이 앞서는 것이 사실일 수도 있지만, 다른 사람들의 시스템을 교묘하게 조작하는 것이 화학 실험을 계획하고, 실행하는 능력을 향상시키기 위한 모델을 결합하는 것과 같이 가장 위험하고 예상치 못한 능력 중 일부를 가져올 수 있다는 것도 분명하다.

고급 AI 모델을 훔치거나 복사 또는 복제하고 수정하는 것은 너무 쉬워서 잠재적으로 안전 기능을 제거할 수 있다. 중국의 기술 부문이 잘하는 것이 있다면, 수십 년 동안 성장의 엔진이었던 전략인, 다른 사람들의 창조물을 최대한의 영향을 발휘 빠르게 적응시키고 있다.

인공지능 비극의 잠재력은 중국만의 것이 아니다.

강력한 신기술과 마찬가지로 재난은 어디에서나 발생할 수 있으며, 자율주행 자동차 충돌, AI 음성 복제 사기, 얼굴 인식을 사용하는 법 집행 기관의 사람들의 잘못된 신원 확인으로 인해 사고와 오용으로 인한 소규모 사고가 이미 전 세계에서 정기적으로 발생하고 있다.

새로운 AI 기능을 개척하는 데 주도적인 역할을 하는 미국은 특히 비용이 많이 드는 실패의 높은 위험에 직면해 있다. 미국 기업과 정부는 현재 많은 의원들이 인식하고 있는 것처럼 자체 AI 안전 노력을 강화하는 것이 현명할 것이다. 중국은 인공지능에 관한 한 세계에서 가장 낙관적인 국가로 꼽힌다. 기술의 진전과 동시에 어떤 일이 벌어질지 아무도 모르는 기술재앙을 초래할 위험성도 매우 크다.