바짝 다가 온 인공지능(AI) 기반 선전선동의 시대
스크롤 이동 상태바
바짝 다가 온 인공지능(AI) 기반 선전선동의 시대
이 기사를 공유합니다
- 과대광고, 허위정보 등을 방어하는 방법은 있을까?
- 언어공장
- 당신만을 위하여
- 진짜 신뢰와 가짜 신뢰
_ 진실을 유지하는 법(근원적 질문)

▶ 누가 이러한 모델에 대한 접근을 통제해야 하는가?
▶ 그들은 누구를 위험에 처하게 하는가?
▶ 인공지능으로 인간의 대화를 모방하는 것이 바람직한가?
마이크로소프트의 빙(Bing) 검색 엔진에 전원을 공급하는 AI 기반 "챗봇"은 사용자를 조작하거나 심지어 사용자를 위협할 수 있는 것으로 나타났다

지난 2016년 미국 대통령 선거전이 한창 펼쳐지고 있을 때 러시아 공작원들이 미국의 선거 개입을 한 이후 7년 동안 부분적으로 수천 개의 가짜 쇼설미디어(SNS)계정에서 미국인 행세를 하며, 선전선동의 확산을 가속화 할 수 있는 또 다른 기술, 즉 인공지능(AI)이 중심이 됐다.

대부분의 사람들은 인공지능을 사용해 실제로 발생하지 않은 이미지나 행사를 만들어내는 오디오 및 시각적 ‘딥페이크(DeepFakes)’ 위험에 초점이 맞춰졌다. 그러나 또 다른 인공지능의 기능도 마찬가지이다. 연구원들은 수년 동안 독창적인 언어, 즉 ‘언어모델(language models)’을 생산해 내도록 훈련된 ‘생성 AI 시스템(generative AI systems)’이 미국의 적들에 의해 영향력 작전을 강화하는 데 사용될 수 있다고 경고해 왔다.

이제, 이러한 모델들은 사용자들의 제한된 인간의 노력을 훨씬 뛰어 넘어 거의 무제한의 원문 공급을 생성할 수 있게 하는 정점에 있는 것처럼 보인다. 이를 통해 선전요원이 무의식적인 유권자를 설득하고 온라인 정보 환경을 압도하며 피싱(phishing) 전자 메일을 개인화할 수 있는 능력을 향상시킬 수 있다.

위험은 두 가지입니다: 언어 모델은 신념을 흔들 수 있을 뿐만 아니라; 그것들은 또한 사람들이 판단을 내리고 결정을 내리기 위해 의존하는 정보에 대한 대중의 신뢰를 부식시킬 수 있습니다.

생성 AI 연구의 발전은 예상을 훨씬 앞질렀다. 2022년에 언어 모델은 기능단백질(機能蛋白質, functional proteins)을 생성하고, 대화가 필요한 전략 게임에서 인간을 이기고, 온라인 비서를 만드는 데 사용되기도 했다.

대화형 언어 모델은 거의 하룻밤 사이에 널리 사용되기 시작했다. 2022년 12월에 출시된 후 처음 두 달 동안 1억 명 이상이 오픈 에이아이(OpenAI)의 챗GPT(ChatGPT) 프로그램을 사용했으며, 수백만 명 이상이 구글과 마이크로소프트가 뒤따라 도입한 AI 도구를 사용했을 것이다. 결과적으로 불과 몇 년 전만 해도 이론적으로 보였던 위험이 이제 점점 현실세계로 다가왔다.

예를 들어, 마이크로소프트의 빙(Bing) 검색 엔진에 전원을 공급하는 AI 기반 "챗봇"은 사용자를 조작하거나 심지어 사용자를 위협할 수 있는 것으로 나타났다.

생성적 인공지능 도구가 전 세계를 휩쓸면서, 선전가들(propagandists)이 거짓말과 오도에 그것들을 사용하지 않을 것이라는 것은 상상하기 어렵다. 빠른 시간 안에 거짓 선동을 하기에 매우 유용한 도구가 바로 인동지능일 것이다.

이러한 상황에 대비하기 위해 정부, 기업 및 시민 사회 조직은 AI 생성 텍스트의 사용에 대한 규범과 정책뿐만 아니라 특정 텍스트의 출처와 AI를 사용하여 작성되었는지 여부를 파악하는 기술을 개발해야 한다. 일부에서는 놀라울 속도로 발전을 거듭하는 인공지능을 한계를 설정해야 한다고 주장하고, 일정 기간 개발을 중단해야 한다는 목소리도 나오고 있다.

가짜 소셜 미디어 계정과 가짜 뉴스 웹 사이트를 찾아내려는 언론인과 연구원의 노력은 내용이 인간이든 인공지능이 작성한 것이든 상관없이 은밀한 선전 캠페인의 범위를 제한할 수 있다.

* 언어 공장

언어 모델은 텍스트를 소비하고 생산하기 위해 시행착오를 통해 훈련된 AI 시스템의 일종이다. 훈련 과정의 많은 부분은 큰 텍스트 말뭉치(a large corpus of text)에서 다음 단어를 예측하는 것을 포함한다. 예측이 잘못되면 모형에 불이익이 주어지고 예측이 정확하면 보상이 주어진다. 이렇게 간단한 과정은 놀라울 정도로 유능한 결과를 낳았다. 말뭉치(corpus)는 컴퓨터가 읽을 수 있는 형태로 모아 놓은 언어 자료를 말한다.

모델에게 다른 단어로 트윗을 다시 쓰거나 특정 포인트를 포함한 블로그 게시물을 작성하도록 요청하면 그렇게 된다. 언어 모델들은 단어 해독, 여덟 자리 산수 수행, 수학 단어 문제 해결 등 훈련을 받은 사람들조차 예상하지 못했던 놀라운 일들을 하는 법을 배웠다.

연구자들은 미래의 언어 모델이 어떤 기능을 달성할 수 있을지 신뢰할 수 있게 예측할 수 없다. 아직까지 인공지능은 자기가 모른다는 말은 전혀 할 줄 모른다. 대규모의 말뭉치에서 배운 것을 토대로 그 다음에 이어질 말을 유추해내기 때문에 사실이 아닌 것을 사실인양 말하는 이른바 환각(hallucination)현상이 발생한다. 보도에 따르면, chatGPT3.5는 24%정도의 환각현상이 발생했으나 훨씬 향상된 chatGPT4.0은 14%정도로 줄어들었다고 한다.

물론 오늘날의 모델에는 한계가 있다. 가장 발전된 것들조차도 긴 지문에 대한 일관성을 유지하기 위해 고군분투하고, 거짓 또는 터무니없는 진술(AI 연구자들이 '환각-hallucination'이라고 부르는 현상)을 하고, 모델이 훈련된 후에 발생하는 사건을 이해하지 못한다. 인공지능은 종교적으로 전지전능한(almighty) 것은 아직 아니다. 인공지능은 모른다는 말을 할 줄 모르는 막무가내의 도구이기도 하다. 앞으로 많은 훈련을 통해 마치 전지전능한 것처럼 느껴질 정도로 고도로 훈련될 수도 있겠다.

이러한 제한에도 불구하고, 모델은 종종 사람이 쓴 것처럼 읽는 텍스트를 생성할 수 있다. 그들을 선전 생성을 확장하기 위한 자연스러운 도구로 만들어 준다. 선전가들은 그들이 더 유능해지고 환각과 같은 문제가 해결됨에 따라, 예를 들어, 질문에 응답하기 전에 정보를 찾는 훈련을 받은 경우에만 그들이 더 매력적이라는 것을 알게 될 것이다.

AI가 기존의 선전도구에 무엇을 할 수 있는지 생각해 보라. 러시아 기자 크세니아 클로치코바(Ksenia Klochkova)는 상트페테르부르크(St. Petersburg)에 본부가 있는 사이버 프론트 Z(Cyber Front Z)에서 ‘우크라이나에서의 러시아의 전쟁에 대한 선전을 퍼뜨리는 ‘악의적 댓글 부대(troll farm)’와 관련, 하루 동안 잠복했던 경험에 대해 기사를 썼다.

클로치코바 기자는 2022년 3월에 발표된 조사에서 모스크바의 의제를 추진하는 지정된 소셜 미디어 사이트에 짧은 게시물을 작성해주고 급여를 받는 교대 근무 직원 100명 중 한 명의 역할을 해 보았다고 적었다.

첫 달이 지나면 직원들이 원격으로 작업을 수행하여 물리적 설치 공간을 초과하여 운영을 확장할 수 있다는 것이다.

언어 모델은 이러한 콘텐츠를 생성하는 데 인간 작가를 보강하거나 대체하는 데 사용될 수 있으며, Cyber Front Z 및 유사한 ‘악성 댓글 부대’를 운영하는 데 필요한 직원 수를 줄일 수 있다.

비용이 감소하면 점점 더 많은 정치적 행위자들이 후원하거나 영향력 행사를 운영하기로 결정할 수 있다. 나아가 직원 수가 적으면 잠재적인 유출자와 두더지(moles, 비밀요원)를 적게 고용하기 때문에 이러한 캠페인이 발견될 가능성이 적어지게 된다.

Cyber Front Z와 같은 운영에 언어 모델을 유용하게 만드는 것과 동일한 것, 즉 사람이 작성한 텍스트와 구별할 수 없는 확장 가능한 콘텐츠를 저렴하게 생성하는 기능은 AI를 염두에 두고 설계되지 않은 다른 영역에서 유용하게 만들 수 있다.

미국의 대외 문제 전문 매체인 포린 어페어즈 4월 7일자 기사에 따르면, 학자 사라 크렙스(Sarah Kreps)와 더글러스 크라이너(Douglas Kriner)는 미국 입법자들에게 마치 유권자들이 보낸 것처럼 인공지능과 인간이 쓴 편지를 보내는 실험을 수행했다고 한다.

그들은 입법자들이 인공지능이 만든 편지에 응답할 가능성이 사람이 쓴 편지에 비해 2% 포인트만 낮다는 것을 발견했다. 사람이 작성한 것인지, 인공지능이 쓴 것인지 거의 구분할 수 없었다는 것이다.

위험은 선출된 공무원들이 유권자들의 진정한 견해를 식별하기 어렵거나 밀려드는 수신함을 처리하지 못할 경우, 언어 모델이 대중의 의견을 받아들이는 시스템을 남용하고, 심지어 압도하는 데 사용될 수 있다는 것이다.

이것은 언어 모델이 반드시 모든 시스템을 압도할 것이라는 말은 아니다. 어떤 경우에는, 그들이 무능하다는 것이 증명되기도 했다.

기술뉴스 웹사이트 씨넷(CNET)은 인공지능이 만든 수십 개의 뉴스 기사를 게시했지만, 많은 기사가 사실의 부정확성으로 가득 차 있다는 것을 발견했다. 코더(coder)들이 서로의 질문에 대답할 수 있는 플랫폼인 스택 오버플로(Stack Overflow)는 계속해서 오답을 전달한다는 이유로 사용자들의 ChatGPT 사용을 금지해야 했다. 스택 오버플로는 “개발자들이 프로그래밍을 수행하다 막힐 경우, 프로그래밍에 대한 질문을 하고 답변을 받는 사이트”를 말한다.

그러나 언어 모델이 개선됨에 따라 콘텐츠만으로 출력을 식별하기가 점점 더 어려워지고 있다. 소셜 미디어 플랫폼과 같은 다양한 기관과 대중의 의견을 구하는 정부 기관은 AI가 생성한 텍스트에 취약한지 여부를 테스트하고, 그렇다면 방어를 반드시 강화해야 한다.

* 당신만을 위하여...

언어 모델은 더 낮은 비용으로 더 많은 선전을 생산할 수 있는 잠재력을 제공하지 않는다. 그들은 또 특정 집단에 맞추어 선전의 질을 향상시킬 수 있다. 2016년 러시아의 인터넷 조사회사인 IRA(Internet Research Agency)로 알려진 러시아 악성댓글부대(troll farm)인 온라인 커뮤니티에 자신들을 포함하려고 노력했다. 예를 들어, 좌파 성향의 흑인 미국인과 친(親)트럼프 백인 미국인으로 가장하여, 그러한 그룹에 맞춤형 선전을 퍼뜨리려고 했다.

그러나 이러한 모방 노력은 운영자의 대역폭과 특정 대상 커뮤니티에 대한 지식에 의해 제한된다. 그들이 작성할 수 있는 선전과 연구할 수 있는 커뮤니티가 너무나 많기 때문에, 언어 모델이 개선됨에 따라 이러한 장벽이 무너질 수도 있다.

초기 연구는 모델들이 특정한 인구통계학적 집단의 사회문화적 경험으로부터 이끌어내고 그 집단의 편견을 보여줄 수 있다는 것을 보여준다. 여론 조사, 데이터 브로커 또는 소셜 미디어 플랫폼에서 미국 커뮤니티에 대한 세분화된 데이터에 접근할 수 있는 경우, 미래의 언어 모델은 일관성 있는 인물을 위한 콘텐츠를 개발할 수 있을 것이며, 선전가들은 실제로 청중들이 알아차리지 못하는 사이에 목표 청중들과 신뢰를 쌓을 수 있을 것이다. 예를 들어, 맞춤형 이메일이나 뉴스 웹사이트를 통해 개인화된 선전은 소셜 미디어 외부에서도 효과적일 수 있다.

개인화(personalization)의 가장 극단적인 형태는 일대일 채팅일 수 있다. AI 기반 챗봇을 통해 선전가들은 대상자들을 개별적으로 참여시켜 그들의 우려나 반론을 직접 해결하고 설득(또는 최소한 주의 산만) 가능성을 높일 수 있다.

지금 당장은 개별 선전가와 대규모 인구 사이에 진행 중인 대화에 의존하는 영향력 작전을 수행하는 것이 엄청나게 자원 집약적일 것이다. 미래에는 언어 모델이 더 설득력 있고 저렴해짐에 따라 AI 지원을 통해 이러한 캠페인이 실현 가능해질 수 있다.

온라인 인간 대화자와 기계를 구별하는 것은 이미 어렵게 돼가고 있다. 최근의 한 연구 프로젝트는 AI 에이전트가 실제 사람들과 동맹을 맺기 위해 협상하는 것을 포함하는 고전 보드 게임 디플로머시(classic board game Diplomacy)의 온라인 버전에서 상위 10%의 참가자를 차지했다는 것을 보여주었다.

만약 오늘날의 언어 모델이 플레이어들이 게임에 참여하도록 설득할 수 있다면, 미래의 모델들은 사람들이 페이스북 그룹에 가입하거나, 청원에 서명하거나, 심지어 시위에 나타나도록 설득할 수 있을 것이다.

언어 모델이 얼마나 빨리 개선되고 있는지를 파악하려면, 플랜팜(Flan-PaLM)이라고 불리는 구글의 최신 모델 중 하나를 보면 알 수 있다. 이 모델은 미국 의료 면허 시험 문제 10개 중 거의 9개를 정답으로 맞출 수 있었다고 한다.

플랜팜은 또 수학을 할 수 있고, 물리학에 대한 질문에 답할 수 있고, 시를 쓸 수도 있다. 이러한 AI 시스템은 잠재적으로 선전가의 손에 있는 위험한 도구이며, 점점 더 강력해지고 있다.

* 진짜 신뢰와 가짜 신뢰

분석가들이 국가 안보 영역에서 새로운 기술을 얼마나 자주 과대평가했는지를 고려할 때 언어 모델이 제기하는 선전 위협의 심각성에 대해 합리적으로 의문을 제기할 수 있다. 결국, 논평가들은 이전 세대의 언어 모델이 이러한 방식으로 남용될 수 있다고 경고했다.

그러나 주 정부나 한 국가가 이러한 도구를 사용하여 AI가 가능한 영향력 작업을 수행했다는 공개적인 증거는 거의 없다. 언어 모델이 영향력 작업에 사용되었다는 공개적인 증거는 없지만, 이러한 방식으로 사용되지 않았다는 증거도 없다. 허위 정보 연구자들은 최근에야 언어 모델에 관심을 갖기 시작했다.

언어 모델이 과거의 영향력 행사에서 사용되지 않았다고 가정하더라도, 미래의 영향력 행사에서 사용되지 않을 것이라는 보장도 없다. AI 생성 얼굴을 만드는 인기 있는 기술 중 하나는 2014년에 처음 개발되었지만, 연구자들이 영향력 있는 작업에서 AI 생성 프로필 사진을 발견한 것은 2019년이 되어서였다.

2022년 메타(META, 페이스북의 모회사)가 적발해 제거한 영향력 행사의 3분의 2 이상이 가짜 얼굴을 포함했다. 선전가들이 그들의 사용을 일상화하기 위해서는 기술의 개선과 접근의 용이성이 필요했다. 언어 모델에서도 같은 일이 얼마든지 일어날 수 있다.

기업들은 언어 모델의 산출물을 개선하고, 사용하기 쉽게 만드는 데 투자하고 있으며, 이는 선전가들에 대한 그들의 매력을 증가시킬 뿐이다. 언어 모델이 심각한 위협이 된다는 것을 의심하는 두 번째 이유는 일반적으로 선전 캠페인의 효과에 관한 것이다.

네이처 커뮤니케이션스(Nature Communications)가 발표한 트위터에 대한 IRA의 노력에 대한 한 연구는 “(2016년) 러시아의 대외 영향력 캠페인에 대한 노출과 태도, 양극화 또는 투표 행동의 변화 사이에 의미 있는 관계에 대한 증거가 없다”고 밝혔다. 인지과학자 휴고 메르시에(Hugo Mercier)는 사람들이 일반적으로 믿는 것보다 덜 속는다고 주장했다.

하지만 선전가들이 종종 설득에 실패하더라도, 그들은 여전히 진정한 논쟁을 밀어내고 대중의 신뢰를 훼손하는 데 성공할 수 있다. 예를 들어, 2014년 7월 우크라이나의 러시아 지원을 받는 분리주의자들이 말레이시아 항공 17편을 격추시킨 후, 러시아 국방부는 누가 비행기를 격추시켰는 지와 그들이 어떻게 그렇게 했는지에 대해 모순된 주장을 했다.

목표는 관객들에게 하나의 이야기를 납득시키는 것이 아니라 물을 흐리게 하고 모스크바로부터 비난을 돌리는 것이었다. 만약 선전가들이 인공지능이 만든 선전으로 온라인 공간에 넘쳐난다면, 그들은 불신을 뿌리고 진실을 식별하는 것을 더 어렵게 만들 수 있다. 사람들은 공유된 현실에 대한 믿음을 좀먹게 하면서 자신의 관찰조차도 불신하기 시작할 수 있다.

* 진실을 유지하는 방법

언어 모델이 강력한 선전 도구가 되고 있지만, 정보 대재앙(information apocalypse)으로 이어질 필요는 없다. AI가 가능한 영향력 캠페인을 성공적으로 실행하기 위해서는 선전가들에게는 적어도 세 가지가 필요하다.

첫째, 처음부터 만들거나, 훔치거나, 오픈 소스 사이트에서 다운로드하거나, AI 서비스 제공업체에서 접근할 수 있는 서비스 가능한 언어 모델에 대한 접근이 필요하다.

둘째, 자신들의 선전을 전파하기 위해 소셜 미디어 네트워크의 웹사이트나 가짜 계정과 같은 인프라가 필요하다.

그리고 마지막으로, 실제 사람들이 그들이 방송하는 콘텐츠에 의해 휘둘리거나 적어도 혼란스럽거나 좌절시킬 필요가 있다.

이 과정의 모든 단계에서 정부, 기업 및 기술자는 이러한 캠페인으로 인한 피해를 개입하고 완화할 수 있는 기회가 있다.

접근 단계에서는 언어 모델의 사용을 제어하거나 위험한 출력을 생성하는 기능을 제한하는 다양한 옵션이 있다. 비록 과학의 정신으로 오픈 소스 모델을 널리 배포하는 것이 오늘날 AI의 표준이지만, 선전가가 필요로 하는 기능에 접근하는 것을 더 어렵게 만드는 표준을 고려하는 것이 현명한 일이라 할 수 있다.

전문가들은 이를 위한 한 가지 방법은 “사용자와 언어 모델 사이의 게이트 역할을 하는 소프트웨어 계층인 애플리케이션 프로그래밍 인터페이스 뒤의 모델을 제어하여, AI 서비스 공급자(및 잠재적으로 다른 사람)가 잠재적인 전파자를 저지, 감지 및 대응할 수 있도록 하는 것”이라고 주문하고 있다.

또 다른 옵션은 연구자들이 이미 하고 있는 것처럼 더 정확하고 문제가 있는 출력을 생성할 가능성이 적은 모델을 개발하는 것이다. 너무나 첨단이며 고도화된 인공지능을 만들어서는 안 된다는 주장과 맥을 같이 한다.

연구자들은 또 그들이 생산하는 콘텐츠를 더 쉽게 식별할 수 있도록 디지털 워터마크(watermark)가 있는 모델을 만드는 것의 타당성을 탐구하고 있다.

인프라 수준에서 소셜 미디어 회사와 검색 엔진은 AI가 생성한 콘텐츠를 식별하고 사용자에게 동일한 작업을 요구하기 위해 능동적으로 작업할 수 있다. 나아가 텍스트에 디지털 출처 표준을 적용하여 텍스트가 어떻게 생성되었는지, 예를 들어 누가 작성했는지, AI가 작성했는지 등을 사람들이 알 수 있어야 한다. 이러한 표준은 현재 구현하기 어려워 보이지만, 더 많은 연구를 통해 앞으로 나아갈 길을 찾을 수 있다고 본다.

마지막으로, 사회는 의심하지 않는 소셜 미디어와 인터넷 사용자들 사이에서 회복력을 길러야 한다.

핀란드에서는 미디어 리터러시(media literacy)가 학교 교과과정에 짜여 있다. 핀란드인들은 어릴 때부터 그들이 소비하는 뉴스를 분석하고 여러 출처에서 사실을 확인하는 법을 배운다. 미디어 리터러시는 “미디어에 접근할 수 있는 능력이 있고, 미디어가 제공하는 정보를 비판적으로 이해하고 또 활용할 수 있으며, 한발 더 나아가 창조적으로 표현하고 소통할 수 있는 능력”을 말한다.

이러한 노력은 사람들이 진짜 뉴스와 가짜 뉴스를 구별하는 데 도움을 줄 수 있어, 사람이 제작하든 인공지능이 만들어내든 신뢰할 수 없는 콘텐츠에 휘둘릴 가능성이 적을며, 인공지능 자체가 방어가 될 수 있다. 언어 모델의 능력이 높아짐에 따라 사용자가 보는 정보를 맥락화하고, 이해할 수 있도록 지원할 수 있다.

인공지능 언어 모델의 부상은 더 넓은 계산을 필요로 한다. 사회가 대답해야 하는 근본적인 질문 중 하나는 다음과 같다.

누가 이러한 모델에 대한 접근을 통제해야 하는가?

그들은 누구를 위험에 처하게 하는가?

인공지능으로 인간의 대화를 모방하는 것이 바람직한가?

미래의 언어 모델의 효과는 예측하기 어려울 것이지만, 그것들을 만드는 AI 연구소보다 훨씬 더 많이 느낄 것이 분명하다.

따라서 정부, 기업, 시민 사회 및 일반 대중은 모두 이러한 모델이 어떻게 설계되고 사용되는지, 그리고 모델이 초래할 수 있는 잠재적 위험을 관리하는 방법에 대해 발언권을 가져야 한다.

‘인공지능’은 코로나19처럼 전 세계 대유행(Pandemic)과 같은 전염병, 기후변화, 기아문제 등과 같은 것으로 글로벌 해결책이 모색되어야 한다.

이 기사를 공유합니다
관련기사
댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
메인페이지가 로드 됐습니다.
가장많이본 기사
뉴타TV 포토뉴스
연재코너  
오피니언  
지역뉴스
공지사항
동영상뉴스
손상윤의 나사랑과 정의를···
  • 서울특별시 노원구 동일로174길 7, 101호(서울시 노원구 공릉동 617-18 천호빌딩 101호)
  • 대표전화 : 02-978-4001
  • 팩스 : 02-978-8307
  • 청소년보호책임자 : 이종민
  • 법인명 : 주식회사 뉴스타운
  • 제호 : 뉴스타운
  • 정기간행물 · 등록번호 : 서울 아 00010 호
  • 등록일 : 2005-08-08(창간일:2000-01-10)
  • 발행일 : 2000-01-10
  • 발행인/편집인 : 손윤희
  • 뉴스타운 모든 콘텐츠(영상,기사, 사진)는 저작권법의 보호를 받은바, 무단 전재와 복사, 배포 등을 금합니다.
  • Copyright © 2024 뉴스타운. All rights reserved. mail to newstowncop@gmail.com
ND소프트