인공지능(AI)에 의한 가짜정보와 사이버 공격으로부터 민주주의의 꽃인 선거를 안전하게 방어할 방법은 없는가 ?

생성형 인공지능(Generative artificial intelligence, 기존 데이터에서 새로운 텍스트, 이미지 및 기타 미디어를 생성할 수 있는 인공지능)은 수세기 동안 가장 파괴적인 기술 중 하나이다.

이 기술이 그 어느 때보다 이용 가능하고 강력해짐에 따라 악의적인 사용은 중국, 이란 및 러시아를 포함한 미국 민주주의를 약화시키는 악의적인 행위자에게 그들의 전술을 감독할 수 있는 능력을 제공함으로써, 미국 선거 과정의 보안을 시험할 준비가 되어 있다. 특히 생성형 인공지능은 사이버 보안 위험을 증폭시키고 가짜 콘텐츠로 넘쳐나는 것을 더 쉽고 빠르고 저렴하게 만들 것이라고 매외 문제 준문 매체인 ‘포린 어페어즈’가 3일 보도했다.

이 같은 기술이 2024년 선거에서 근본적으로 새로운 위험을 도입하지는 않겠지만, 나쁜 행위자들은 수년 동안 사이버 위협과 허위 정보를 사용하여 미국 선거 과정을 약화시키려 했으며, 앞으로 기존 위험을 보다 더 강화할 것으로 보인다.

적대자들의 손에 있는 생성형 AI는 유권자 등록, 투표, 결과 보고를 포함한 선거 과정의 각 부분을 위협할 수 있다. 상당 부분 이 위협을 충족시키는 책임은 국가와 지방 선거 관리들에게 돌아갈 것이다. 거의 250년 동안 이 관리들은 선거 과정을 외국의 적, 전쟁, 자연재해, 전염병 및 파괴적인 기술로부터 보호해 왔다.

그러나 이 관리들은 특히 2020년 선거 이후, 직면한 극심한 압력과 그에 따른 근거 없는 유권자 사기 혐의 때문에 지원이 필요하다. 연방 기관, 투표 장비 제조업체, 생성 AI 회사, 미디어 및 유권자는 이러한 관리에게 선거 기반 시설의 보안을 강화하는 데 필요한 자원, 능력, 정보 및 신뢰를 제공함으로써 자신의 역할을 수행해야 한다. 선거관리원들도 투표 개시부터 최종 투표 확인까지 안전하게 직무를 수행할 수 있도록 해야 한다.

특히 생성 AI 회사는 AI 생성 콘텐츠를 식별하기 위한 사용 가능한 도구를 개발 및 제작하고, 그들의 능력이 불법 행위자에 의해 오용되는 것을 방지하기 위해 보안을 최우선으로 하여 설계, 개발 및 배치되도록 보장함으로써 도움을 줄 수 있다.

문제는 미국 민주주의의 토대에 어떠한 작용 기제를 하느냐이다.

* 끝까지 가짜로 만들다

생성 AI 소프트웨어는 기존 데이터에서 패턴과 구조를 일반화하는 통계 모델을 사용하여 원본 텍스트, 이미지 및 기타 유형의 미디어를 만든다. 챗GPT(ChatGPT)와 같이 대규모 언어 모델에서 실행되는 응용 프로그램은 텍스트를 프롬프트로 받아들이고 출력으로 새 텍스트를 생성한다. 이러한 형태의 생성 AI는 이메일, 스탠드업 루틴, 레시피 또는 대학 학기 논문을 몇 초 만에 만들 수 있다.

다른 응용 프로그램은 문자 입력을 받아 합성 미디어 출력(종종 딥페이크라고 함)을 만들 수 있다. 예를 들어, 교황 프란치스코가 패딩(puffer jacket)을 입은 바이러스성 가짜 사진이다. AI는 또한 녹음된 음성의 일부만 기반으로 음성 복제 오디오 파일을 생성할 수 있다. 예를 들어, 슬로바키아의 선거를 불과 이틀 앞두고 9월에 가짜 음성 녹음이 페이스북에 떴다. 그것은 음성 복제를 사용하여 슬로바키아의 한 정당의 지도자와 진보적인 정당의 지도자가 선거 조작 방법에 대해 논의하는 것처럼 보이는 슬로바키아 언론인 사이의 인터뷰를 묘사했다.

합성 텍스트, 음성, 이미지 및 비디오를 생성하는 이러한 기술에 점점 더 접근할 수 있게 되어, 미국 선거에 개입하려는 사람들의 장벽이 낮아졌다. 최근 몇 년 동안 외국의 적대자들은 사이버 침입을 시작하고, 해킹 및 유출 작업을 수행하며 악의적인 댓글부대(troll farms)과 소셜 미디어 봇(로봇) 네트워크를 활용하여 거짓을 퍼뜨림으로써 미국 선거의 보안과 무결성을 약화시키려 했다.

특히 지난 12월 국가정보국장실(DNI=Director of National Intelligence)이 2022년 미국 중간선거를 겨냥한 대외활동의 규모와 범위가 2018년 선거주기 동안 미국 정부가 감지한 것을 초과했다는 사실을 공개하는 등 이 공간에 외국인 행위자들이 속속 들어오고 있다.

DNI 보고서는 “더 많은 외국 행위자들의 참여는 아마도 변화하는 지정학적 위험 요소, 선거 영향력 활동이 정상화되었다는 인식, 그리고 그러한 활동의 비용은 낮지만, 잠재적으로 높은 보상을 반영한다”고 말했다. 따라서, 이러한 위협이 새로운 것은 아니지만, 오늘날의 생성형 AI 기능은 이러한 활동을 더 저렴하고 효과적으로 만들 것이다.

특히 AI 지원 번역 서비스, 계정 생성 도구 및 데이터 집계를 통해 나쁜 행위자가 프로세스를 자동화하고, 개인 및 조직을 보다 정확하고 규모 있게 목표로 삼을 수 있다.

미국 대선이 다가오면서 연방정부와 주 정부 관계자들은 생성형 AI의 파괴적인 잠재력에 대해 촉각을 곤두세우고 있다. 11월 7일 30개 이상의 주에서 실시된 주, 지방 선거에서 발생하는 AI의 악의적인 사용은 관찰되지 않았지만, 위에서 언급한 바와 같이 미국 정치 캠페인과 슬로바키아 선거 및 11월 아르헨티나 대통령 선거에서 사용된 기술을 보았다. 적대자들이 점점 더 쉽게 접근할 수 있고, 강력한 도구에 익숙해지기 때문에 이러한 도구가 더 자주 사용될 것이라고 가정해야 한다.

* 위협 평가

지구의 4분의 1인 20억 명 이상의 사람들이 2024년 다양한 선거에서 투표할 것으로 예상된다. 전 세계의 투표소로 가는 사람들로 인해, 생성형 AI가 선거에 미치는 영향에 대한 우려는 미국에만 국한되지 않는다. 영국 국가 사이버 안보 센터가 언급했듯이, 올해 영국 총선은 AI의 상당한 발전을 배경으로 처음으로 실시될 것이다. 센터는 “대규모 언어 모델이 조작된 콘텐츠를 생성하는 데 사용될 것이 거의 확실하고, AI가 만든 초현실적인 봇(bots)은 허위 정보의 확산을 더 쉽게 할 것이며, 딥페이크 캠페인에 사용하기 위한 미디어 조작이 더 발전할 가능성이 있다”고 경고했다.

AI는 더 쉽고 포괄적인 데이터 집계를 가능하게 하며, 이를 통해 악성 행위자가 특정 개인이나 조직을 대상으로 한 공격을 주도하는 등 맞춤형 사이버 공격을 수행할 수 있으며, 이것이 고품질 AI 생성 콘텐츠와 결합되면 가장 경계하는 인터넷 사용자도 취약해질 수 있다.

생성형 AI는 탐지를 피하는 데 더 나은 악성 소프트웨어 변종을 만드는 데 도움이 될 수도 있다. 나아가 봇넷 공격(botnet attacks)의 조정 및 타이밍을 최적화하는 데 도움을 줌으로써 AI는 공격자가 인터넷 트래픽으로 서버를 압도하는 보다 효과적인 “분산 서비스 거부 공격(DDoS=distributed denial-of-service attacks)”을 가능하게 할 수 있으며, 이는 대량의 데이터로 인해 선거 관련 웹 사이트를 다운시킬 수 있다.

마찬가지로 AI 강화 도구를 사용하여, 로보콜, 텍스트 또는 이메일을 통해 선거 사무소에서 커뮤니케이션을 압도할 수 있다. 이러한 공격은 선거 관련 데이터에 영향을 미치지는 않지만, 선거 관리자가 실제 유권자 질문에 응답하는 것을 지연시키거나 방지하고 선거 과정에서 유권자의 신뢰를 떨어뜨릴 수 있다.

생성형 인공지능은 또 온라인 괴롭힘을 포함한 다른 형태의 디지털 공격을 더 쉽게 만들 수 있다. 미국 선거 관리들은 이미 전례 없는 수준의 적대감에 직면해 있다. 집 주소와 기타 개인 정보가 공개될 것이라는 우려를 포함한 신변 안전에 대한 우려는 미국 전역에서 경험 많은 선거 관리들이 사임의 물결을 일으킨 주요 동인 중 하나였다.

생성형 AI 도구는 개인 정보, 가짜 손상 사진 또는 위협이 포함된 콘텐츠를 신속하고 대규모로 생성할 수 있도록 하여, 독싱(doxing : 해킹한 정보를 온라인에 공개하는 행위)과 같은 전술을 포함하도록 괴롭힘을 크게 향상시킬 수 있다.

ChatGPT이 나타나기 훨씬 전에, 외국의 행위자들은 미국의 선거와 전 세계의 사람들을 목표로 하기 위해 허위 정보를 사용했다.

생성형 AI로 미국은 이러한 노력의 규모와 정교함이 다양한 전술에 걸쳐 증가할 것으로 예상할 수 있다. 거짓 메시지 또는 변경된 이미지를 사용하여 후보자에 대해 유권자를 오도하는 것, 생성형 AI를 사용하여 선거 관리자를 사칭해 투표소 위치 및 운영 시간에 대한 잘못된 정보를 퍼뜨리는 표적 유권자 억제 캠페인, 선거 관리자가 가짜 투표용지를 던지고 개표하는 딥페이크 이미지 또는 비디오 등이다. 가상의 시나리오는 끝이 없지만, 그 이면에 있는 의도는 항상 같다. 선거 결과에 대한 미국 대중의 신뢰를 약화시키는 것이다.

* 인간 대 기계

미국은 생성형 AI의 악의적인 사용이 자국 민주주의에 미치는 위협을 막을 수 있는 힘을 가지고 있다. 미국의 선거 과정이 탄력을 받고 있는 것은 이를 관리, 처리, 보안하기 위해 매일 일하는 주 및 지방 선거 관리 공무원들의 헌신 덕분이다. 약 8,800개의 선거 관할 구역에서 근무하는 선거관리원들은 위험을 식별하고 감지하고 완화하기 위해 끊임없이 노력하고 있다.

생성형 AI가 등장하기 전에도 선거 관리자들은 사이버, 물리적, 운영상의 모든 위험뿐만 아니라 외국의 악의적 영향력 작전과 허위 정보의 위협으로부터 선거 시스템을 효과적으로 방어했다. 결과적으로 2017년 선거 인프라가 중요 인프라로 지정된 이후, 어떤 국가 선거에서도 어떤 투표 시스템도 표를 잃거나 다른 방식으로 손상되었다는 증거는 없으며, 연방, 주 및 지방 차원에서 보안 위협이 투표 과정의 무결성에 미치는 영향을 추적하기 위한 전담 노력이 조직됐다.

실제로 선거 관리자들은 선거 관리의 유일한 상수는 예상치 못한 것을 기대하는 것이라고 자주 강조한다. 타고난 위기 관리자인 그들은 어떤 상황에도 적응하고 창의적인 해결책을 찾는 기술을 연습한다.

2022년 중간 선거기간 동안 플로리다의 리 카운티(Lee County)를 보라. 선거일 몇 주 전, 카운티는 플로리다 역사상 가장 희생이 많은 허리케인이자 미국 역사상 세 번째로 희생이 많은 기상 재해인 허리케인 이안(Ian)에 의해 황폐화 됐다.

수십 명의 실향민, 공급망의 파괴, 그리고 상당한 기반 시설의 손상으로, 선거 관리자들은 결집했고, 이 모든 것에도 불구하고, 보통 97개의 투표 장소들 중 단지 12곳만이 기능했음에도 불구하고, 선거를 성공적으로 시행할 수 있었다.

이러한 위협은 AI의 악의적인 사용과는 분명히 다른 종류이지만, 선거 관리자들이 선거 과정에 대한 수많은 복잡한 도전을 계속 극복하는 방법을 보여준다.

지난 7년 동안 선거 인프라가 중요하게 지정된 이후, 선거 관리자들은 선거 시스템과 네트워크에 대한 강력한 디지털 및 물리적 통제를 확립하기 위해 적극적으로 움직였다. 이들은 악성 행위를 보다 신속하게 탐지하기 위한 보안 조치를 시행했으며, 공급업체에 특정 보안 예방 조치를 취하도록 의무화함으로써 선거 인프라 전반에 걸쳐 공급망 위험을 줄이기 위해 노력했다.

이들은 스푸핑(spoofing, 사용자를 가짜 웹사이트로 유도)을 방지하고, 사용자가 외부 웹사이트로 리디렉션했을 때, 쉽게 알 수 있도록 선거 웹사이트를 보다 안전한 “.gov” 도메인 웹사이트로 이동하게 했다. 선거 관계자들은 사이버 보안 및 인프라 보안청과 협력하여 위협 정보 공유, 취약점을 식별하는 사이버 스캐닝 서비스, 사이버 및 물리적 보안 평가, 사고 대응 지원 등을 활용하고 있다.

생성형 AI 사이버 위협의 경우, 이러한 위험을 완화하는 데 도움이 되는 단계가 있다. 이 단계 중 많은 것이 전문가들이 수년 동안 권장해 온 것과 동일한 보안 모범 사례이다. 특히 주 및 지방 관리자는 네트워크 전체에서 다중 요소 인증을 활성화하고, 사용자 프로필을 비활성화 또는 삭제하며, 사용자가 특정 역할에 필요한 액세스 권한만 갖도록 보장하며, 보안 솔루션인 단말 기반의 탐지와 대응(EDR=endpoint detection and response)” 소프트웨어를 사용하여, 악성 프로그램이나 무단 액세스와 같은 사이버 위협에 대해 지속적으로 경고하고, 신속하게 대응할 수 있도록 함으로써 적대자를 더욱 어렵게 만들 수 있다.

점점 더 복잡해지는 피싱 시도를 방지하기 위해 선거 관리자는 발신자의 진위를 확인하고, 악의적인 이메일의 위험을 줄이는 데 도움이 되는 이메일 인증 프로토콜을 사용할 수도 있다.

독싱(doxing) 및 기타 형태의 표적 괴롭힘으로부터 보호하기 위해 선거 관리자는 공개 프로필에서 개인 식별 정보를 제거하고 사진 이미지에 대한 접근을 줄이기 위해, 개인 계정을 비공개로 설정하며, 공공 기록 웹 사이트에서 개인 정보를 제거하도록 정기적으로 요청해야 한다.

AI가 생성한 음성 복제로부터 보호하기 위해 선거 관리자는 민감한 정보가 공유되기 전에, 심지어 내부적으로도 실시간 통신을 포함하여 신원 확인을 제공하는 2차 문제를 통해 요청을 확인하는 관행을 확립해야 한다. 일반적인 낮은 수준의 기술에 의한 모범 실무(low-tech best practice) 중 하나는 선거 관리자에게 알려진 개인 암호문을 통합하고 지정된 시간 간격으로 변경하는 것이다.

그런 다음 중요한 정보가 통화 중에 제공되어야 하며, 이 문구는 비밀번호를 확인할 수 있고, 따라서 관계자의 진위를 확인할 수 있는 전화 상대방에게 전달된다. 이와 별도로 공공 기록 요청과 같이 대중이 질문을 제출할 수 있는 웹 사이트에 기술적 제어를 구현하면, AI가 생성한 진정한 요청의 수를 제한하는 동시에 진정한 인간 요청에 대한 경로를 보존하는 데 도움이 될 수 있다.

표준 웹사이트 운영에 비교적 쉽게 통합할 수 있는 캡차(CAPTCHA)와 같은 인간 인증 도구는 합법적인 인간 문의와 자동화된 문의를 구별하는 데도 도움이 될 수 있다. 다시 말해 캡차는 “사용자가 실제 사람인지 컴퓨터 프로그램인지 판별해주는 기술”을 말한다. 캡차에는 텍스트 캡차, 오디오 캡차, 이미지 캡차 등이 있다. 이러한 도구는 완벽하지 않고, 경우에 따라 패배할 수 있지만, 저항력이 가장 낮은 경로를 이용하려는 적을 막는 데 도움이 될 수 있다.

생성형 AI에 의해 강화된 것을 포함하여, 외세와 허위 정보 조작의 영향을 줄이기 위해 국가와 지방 선거 관리들이 취할 수 있는 가장 중요한 행동은 아마도 선거일을 훨씬 앞두고, 국민들과 투명하고 일관되게 소통하고, 권위적인 목소리로서의 역할을 공고히 하고, 지역 언론, 지역 사회 지도자 및 유권자들과의 관계를 강화하는 것이다.

이러한 맥락에서 전미국무장관협회(National Association of Secretaries of State) #TrustedInfo2024 이니셔티브는 선거관리원을 선거 정보의 신뢰할 수 있는 출처로 홍보하고 유권자들이 선거관리원의 웹사이트와 소셜 미디어 페이지로 직접 이동하여 가장 정확한 정보를 얻을 수 있도록 하기 위한 중요한 공교육(公敎育)적인 노력이다.

이러한 노력을 지원하기 위해 사이버 보안 및 인프라 보안청은 유권자들이 선거 인프라 보안과 관련된 가장 정확한 정보를 확보할 수 있도록, 몇 년 전에 시작된 소문이냐 현실이냐(Rumor vs. Reality) 웹사이트를 계속 사용하고 있다.

그러나 잠재적인 AI 강화 위협에 대한 완화의 핵심은 상황 인식과 운영 준비성이다. 선거 사무소, 다른 주 및 지방 사무소, 투표 장비 공급업체 및 인터넷 서비스 공급업체와 같은 중요한 지원업체는 모두 협력하여 운영을 복구하고, 운영하는 방법을 비롯해 이러한 위험을 완화하는 데 필요한 위험과 역할을 이해해야 한다. 성공하기 위해서는 선거에 참여하는 모든 당사자들이 기존의 계획이나 전술(playbooks)에서 비상사태 작전을 연습하기 위해 모의훈련(tabletop exercises)과 같은 도구를 사용하여 지속적으로 정보를 공유하고 함께 훈련해야 한다.

* 사람의, 사람에 의한

생성형 AI는 많은 사람들이 자원이 부족하고 인력이 부족한 상황에서 선거 사무소의 업무를 복잡하게 만들고 있다. 전국적으로 경험 많은 선거 행정 전문인력의 높은 이직률은 문제를 더욱 악화시켰을 뿐이다.

올해는 선거 관계자들에게 매우 도전적인 해가 되겠지만, 그들은 몇 번이고 도전에 나섰다. 연방정부는 자원, 정보 및 보안 서비스로 그들을 계속 지원할 것이다. 오늘날 모든 50개 주와 3,700개가 넘는 지역 관할 및 민간 부문 조직이 24시간 위협 모니터링, 선거 인프라 사이버 위협 분석 및 사고 대응 지원을 제공하는 이니셔티브인 ‘선거 인프라 정보 공유 및 분석 센터(Elections Infrastructure Information Sharing and Analysis Center)’의 회원이다.

미국 정부 기관인 선거관위원회(Election Assistance Commission)도 투표시스템 보안대책과 지역 선거관리 공무원들이 투표 시스템 보안을 위해 따를 수 있는 모범 사례 등의 자료를 제공하고 있다.

인터넷 서비스 제공업체, 클라우드 서비스 제공업체, 사이버 보안업체 등 민간 부문과 투표 장비를 제공하는 선거 공급업체, 기업 등도 역할을 해야 한다. 이전 선거 주기에서는 이러한 공급업체와 서비스 공급업체가 지역 및 주 선거 사무소에 강화된 보안 조치와 지원 서비스를 제공하기 위해 나섰다.

그러나 선거 사무소에 중요한 서비스를 제공하는 회사는 선거 시즌에 들어가는 선거 인프라의 사이버, 물리적 및 운영상의 위험을 줄이기 위해 무엇을 더 할 수 있는지 물어야 한다. 특히 생성형 AI 회사는 제품의 전반적인 안전한 디자인을 보장하고, 특히 AI 생성 콘텐츠 식별 방법을 개발하여 선거 관리자를 지원할 수 있는 방법을 고려해야 한다.

지난해, 다수의 선도적인 AI 회사들은 사용자들이 콘텐츠가 언제 생성되는지 확실히 알 수 있도록 하는 사용 가능한 기술 메커니즘을 만드는 것을 포함해, 안전하며 투명한 AI 개발을 촉진하기 위해 백악관과 자발적인 약속을 했다.

‘디지털 워터마킹’과 같은 디지털 정품 인증을 확립하는 데 사용되는 이러한 도구 및 기타 도구는 선거 관리자가 인공지능이 생성한 콘텐츠와 인간이 생성한 콘텐츠를 구별하고, 디지털 자격 증명이 생성된 후 콘텐츠가 언제 변경되었는지 입증함으로써 변조로부터 보호하고, 대중이 공식 콘텐츠를 확인하는 것을 돕기 위한 것들은 매우 유용할 수 있다. 이러한 기능의 버전이 오늘날 존재하지만, 연구자들이 이러한 제품도 부당한 이용에 취약할 수 있음을 입증했기 때문에, 회사들은 이러한 정품 제품의 품질과 보안을 지속적으로 개선하는 데 전념해야 한다.

* 올바른 언론의 중요성

이번 선거 사이클에서 AI의 악의적인 사용으로 인한 위협을 언론이 인지하는 것도 중요하다. 기자들은 그들이 전달하는 정보가 신뢰할 수 있는 공식적인 출처에서 나오도록 도와야 하며, 잘못된 정보가 유통될 때는 정확한 정보를 제공해야 한다. 정교한 외부세력의 작전(foreign influence operations)은 지역 선거 사무소를 빠르게 압도하고 대응 능력을 초과할 수 있다.

여기서 언론이 핵심이 될 수 있는 부분으로 선거 관계자들을 신뢰할 수 있는 정보원으로 증폭시키고, 정확한 정보가 대중과 공유될 수 있도록 도와줄 수 있어야 한다.

유권자들도 제 역할을 할 수 있다. 여론조사 전문가나 선거 참관인으로 활동할 수 있는 기회는 항상 존재한다. 그리고 모든 사람들은 미국 민주주의의 안전과 진실성을 훼손하려는 불법 행위자들의 행동을 증폭시키거나 악화시키지 않도록 주의함으로써 주 및 지방 선거 관리들을 지원할 수 있다.

선거 보안은 정치나 당파성의 문제가 아니라 국가의 가장 신성한 민주주의 과정의 완전성을 보존하는 것이어야 한다. 미국인들은 생성형 AI의 악의적인 사용이 미국 선거 과정이 극복할 수 있고, 또 극복할 수 있는 긴 도전 목록이 되도록 협력해야 한다.