생성 AI(인공지능)를 이용해 만들어진 기시다 후미오 일본 총리의 가짜 동영상이 소셜미디어(SNS)상에서 급속히 확산되고 있다. 기시다 총리와 똑같은 목소리로 음란한 발언을 한 것으로, 일본 TV의 뉴스 프로그램의 로고 등도 표시되고 있다고 요미우리신문이 4일 보도했다.

신문은 “해외에서도 정치인의 가짜 동영상이 여론조작에 악용되는 사태도 일어나고 있어, 일본에서도 앞으로 대책을 요구하는 목소리가 높아질 것 같다”고 전했다.

가짜 동영상에서는 신사복 차림의 모습의 총리가 화면 중앙에서 시청자를 향해 말을 걸고 있다. 일본 TV 프로그램 로고 외에 ‘속보(breaking news)' 등의 텔롭(Telop, 텔레비전 방영 중에 투사, 삽입하는 글자나 사진)이 표시되어 있어, 기시다 총리의 온라인 기자회견을 보도하는 프로그램을 악용해 만들어진 것으로 보인다는 것이다.

요미우리는 “오사카부의 한 남성(25)이 생성 AI등을 사용해 가짜 동영상을 제작해 투고한 것을 인정했다”면서, “그는 재미있게 만들었다”고 말했다고 전했다.

가짜 동영상은 2일, X(옛 트위터)에 투고되어 3일 시점에서 232만회 이상 열람되고 있다.

* 급(急)확산

문제의 가짜 기시다 총리 동영상에서는 신사복 차림으로 넥타이를 매고 있다. 기시다 총리가 화면 중앙에서 시청자에게 말을 걸고 있는 모습이 담겨 있다.

화면 오른쪽 상단에는 일본 TV의 뉴스 전문 채널 “닛텔레 NEWS24”의 로고가 들어가 있어, 이 프로그램에서 실제로 사용되고 있는 것과 비슷한 텔롭으로, ‘기시다 총리 '확실히 말했다’ 등으로 표시되고 있다. ‘생방송(Live)’ 혹은 ‘속보(breaking news)’라는 문자도 있어, 기시다 총리의 이야기가 ‘긴급 속보’로 생중계되고 있는 것 같은 인상을 준다.

문제의 가짜 동영상은 올 여름 동영상 투고 사이트 “니코니코 동영상” 등에 게재됐다. 3분 43초 중 30초 분량을 발췌한 것이 이달 2일 X(옛, 트위터)에 올라오자 단번에 230만회 이상 열람됐으며, 이 동영사을 본 다른 유저로부터는 “AI 보급의 폐해, 악의가 있는 가짜 동영상”등의 비판도 올라왔다고 신문은 전했다.

가짜 동영상을 제작해 투고한 것은 오사카부의 남성(25)이라고 신문은 전했다.

그　남성에 따르면, 넷(net)상에서 공개되고 있는 기시다 총리의 기자 회견이나 자민당 대회의 연설 등의 동영상으로부터, 총리의 음성을 AI에 학습시켜, 가짜 음성을 준비했다고 한다. 총리의 온라인 기자회견을 전한 일본 TV 뉴스 프로그램을 이용해 자신의 목소리를 총리의 가짜 음성으로 변환시키는 기능을 사용해 외설적인 발언을 불어넣었다는 것이다.

그리고 대사에 맞게 총리 입의 움직임을 가공하거나 텔롭을 만드는 데 1시간 안에 만들어냈다고 한다.

그　남성은 지난해부터 기시다 총리 외에 아베 전 총리 등의 가짜 동영상을 제작, 게재하기 시작했는데, 이유에 대해 “총리대신은 누구나 알고 있는 상징적인 존재이기 때문에 주목을 받기 쉬우며, 혼란시킬 의도는 없고, 그저 웃으면 좋겠다”는 목적으로 만들었다고 한다. 일종의 풍자 같은 것이라는 설명이다.

일본 TV는 “일본 TV의 방송, 프로그램 로고를 이런 가짜 동영상에 악용된 것은 도저히 용서할 수 없다”며 필요에 따라 적절한 대응을 취하겠다고 밝혔다고 요미우리는 전했다.

* 명예 훼손 우려

일본 저작권법 30조의 4에서는 “저작물을 AI에 무단으로 학습시키는 것을 원칙적으로 인정하고 있어, 권리자 측으로부터 비판이 오르고 있다.”

대량의 데이터를 학습한 생성 AI를 악용하고, 쉽게 가짜 정보를 생성할 수 있게 되어, 사회의 혼란을 초래하는 것이 우려되고 있다. 불명예한 발언을 한 동영상을 확산하면 명예 훼손기소 등에 해당할 가능성이 있다.

생성 AI를 사용한 가짜 동영상에 익숙한 도쿄 공업대 사사하라 와토시(笹原和俊) 준 교수(계산 사회 과학)는 이번 사례에 대해 “뉴스 프로그램을 치고 SNS에 올림으로써 더 많은 사람의 주목을 끌고 확산돼 버렸다. 가짜 동영상의 내용에 따라서는 사회를 혼란시킬 우려가 있다”고 지적했다.

그는 이어 “동영상은 문자로 쓰인 것보다 오감(五感)에 호소하기 때문에, 더 직접적으로 부정적인 이미지를 심어 버린다. 인상 조작이라는 점에서 악질”이라는 비판이 일고 있다. “생성 AI의 급속한 발전에 리터러시(Literacy, 문자화된 기록물을 통해 지식과 정보를 획득하고 이해할 수 있는 능력) 교육이 따라잡지 않은 것이 현실이며, 우선 확산의 무대인 플랫폼 측에 대한 대책이 필요하다”고 밝혔다.

* '사회 분열 초래 우려' 해외에서 문제화

해외에서는 저명한 정치인의 가짜 동영상이나 가짜 이미지가 문제가 되는 경우가 잇따르고 있다. 일본 총무성은 올해의 정보통신백서에서 이런 해외사례를 소개해 “가짜, 오정보 유통으로 사회의 분열이 생겨 민주주의 위기로 이어질 우려가 있다”고 지적했다.

총무성의 조사에 따르면, 2021년 유럽의 한 의원이 러시아의 의원의 가짜 동영상과 눈치 채지 못하게 화상 전화 회의를 실시했다. 러시아에 의한 우크라이나 침략과 관련, 젤렌스키 우크라리나 대통령이 국민들에게 투항하라는 가짜 동영상이 동영상 투고 사이트 등에 올라왔었다.

또　미국에서는 올 들어 조 바이든 대통령이 제3차 세계대전의 시작을 알리는 AI 가짜 동영상이 정치 활동가에 의해 작성되어 확산했다. 이어, 도널드 트럼프 전 대통령이 체포되는 AI 가짜 화상이 X(옛, 트위터)상에서 확산된 사례도 있었다.