인공지능 기술이 발전할수록 이를 악용하려는 시도도 함께 증가하고 있습니다. 최근 OpenAI가 발표한 '모델의 악의적 사용 차단에 관한 업데이트(Disrupting malicious uses of our models: an update, February 2025)' 보고서는 AI 기술이 어떻게 불법적이고 유해한 목적으로 악용되고 있는지, 그리고 이를 어떻게 막아내고 있는지 상세히 보여줍니다.
AI 기업만의 독특한 관점과 협력의 중요성
보고서에 따르면, 위협 행위자들은 AI를 이메일이나 인터넷 서비스 제공업체와는 다른 방식으로 사용하며, 이로 인해 AI 기업들은 온라인 위협에 대한 고유한 관점을 가지게 되었다고 합니다. OpenAI는 "위협 행위자들이 AI를 한 번에 여러 작업에 사용하는 것을 반복적으로 보았으며, 코드 디버깅부터 다양한 배포 플랫폼에 게시할 콘텐츠 생성까지 다양했다"라고 밝혔습니다.
특히 이러한 교훈은 호스팅 및 소프트웨어 개발자와 같은 업스트림 제공업체, 소셜 미디어 회사와 같은 다운스트림 배포 플랫폼, 오픈소스 연구자들과 공유될 때 더욱 가치가 있습니다. OpenAI도 업계 내 협력이 위협에 대응하는 데 있어 "힘의 승수(force multiplier)"가 된다고 강조한 바 있습니다.
중국 관련 위협 활동: "피어 리뷰"와 "스폰서드 디스콘텐트"
OpenAI의 2월 보고서는 중국에서 발생한 것으로 보이는 두 가지 주요 위협을 다루고 있습니다. 첫 번째는 "피어 리뷰"라고 불리는 활동으로, 중국에서 운영되는 것으로 보이는 ChatGPT 계정 클러스터가 소셜 미디어 모니터링 도구를 개발하고 있었던 부분입니다. 이 도구는 서구 국가에서의 시위에 대한 실시간 보고서를 중국 보안 당국에 제공하려는 목적이었습니다.
두 번째는 "스폰서드 디스콘텐트"라는 영향력 활동으로, 중국에서 운영되는 것으로 추정되는 계정들이 영어로 된 짧은 댓글과 스페인어로 된 장문의 뉴스 기사를 생성했습니다. 특히 라틴 아메리카의 뉴스 사이트에 반미적 내용의 기사를 게재했는데, 보고서에 따르면 "이는 중국 출신의 영향력 행위자가 라틴 아메리카의 주류 매체에 장문의 기사를 성공적으로 심은 첫 사례"라고 하네요.
북한 관련 위협 활동: 사이버 공격과 고용 사기
보고서는 북한과 연관된 위협 행위자들의 활동도 주목할 만한 부분으로 다루고 있습니다. OpenAI는 공개적으로 보고된 북한 소속 위협 행위자들과 관련된 활동으로 보여지는 계정들을 차단했다고 밝혔습니다. 이 계정들 중 일부는 'VELVET CHOLLIMA'(일명 Kimsuky, Emerald Sleet)로 알려진 위협 그룹과 일치하는 활동을 보였으며, 다른 계정들은 'STARDUST CHOLLIMA'(일명 APT38, Sapphire Sleet)와 연결된 것으로 판단되었다고 합니다.
이들 북한 관련 위협 행위자들은 주로 사이버 침입 도구나 작전과 관련된 정보를 추구하는 데 OpenAI의 도구를 사용했습니다. 또한 암호화폐 관련 주제에도 관심을 보였는데, 아무래도 금전적 동기의 활동과 관련이 있을 것으로 추정하고 있습니다. 보고서는 "금융과 사이버 관련 활동의 이러한 혼합은 북한 관련 위협 그룹에서 전형적"이라고 지적했습니다.
북한 관련 또 다른 활동으로는 서구 기업들에 사기 고용을 시도하는 것이 있었습니다. 이 부류의 공격은 이력서와 온라인 프로필 생성부터 지원자 추천과 면접 준비까지 채용 과정의 각 단계를 위한 콘텐츠를 생성하기 위해 ChatGPT를 사용했으며, 북한이 서구 기업에서 허위로 직위를 얻어 정권의 재정 네트워크를 지원하려는 시도와 관련이 있는 것으로 보입니다.
로맨스 미끼 사기(Romance-baiting scam)와 캄보디아 연결
OpenAI는 또한 캄보디아에서 시작된 것으로 보이는 로맨스 및 투자 사기("돼지 도살(pig butchering" 사기로도 알려짐)와 관련된 계정들도 차단했습니다. 사기꾼들은 ChatGPT를 사용하여 일본어, 중국어, 영어로 짧은 댓글을 번역하고 생성했으며, 이들은 Facebook, X, Instagram을 포함한 소셜 미디어 플랫폼에서 40세 이상의 남성, 특히 의료 전문직에 종사하는 사람들을 주로 겨냥했다고 합니다.
Meta는 관련 조사 결과 이 악의적인 활동이 "캄보디아에 새로 세워진 사기 단지"에서 시작된 것으로 보인다고 밝혔는데요, 사기꾼들은 대화를 '온라인 투자로 많은 돈을 벌었다'는 주장에서 피해자가 거래 앱에 돈을 이체하도록 설득하는 단계로 이끌어 갔다고 하네요.
다른 영향력 활동: 이란과 가나
보고서는 이란과 연결된, 이전에 별개의 노력으로 보고되었던 두 사안 간의 잠재적 중복을 발견했다고 언급했습니다. 하나는 국제 가상 미디어 연합(IUVM)으로 알려진 건이었고, 다른 하나는 STORM-2035로 보고된 건입니다. OpenAI는 차단한 계정 중 하나가 두 사례 모두를 위한 콘텐츠를 생성하는 데 사용되었음을 발견했습니다.
또한 OpenAI는 가나 대통령 선거에 관한 여론을 조작하려 한 '청년 이니셔티브'라는 위장 하에 영어로 짧은 댓글과 장문의 기사를 생성한 계정 클러스터도 차단했습니다. 이 활동은 아랍에미리트와 가나에 사무실을 둔 DigitSol이라는 상업적 기업과 연결되어 있었다고 합니다.
시사점
OpenAI의 보고서는 인공지능이 점점 더 정교한 악의적 활동의 도구가 되고 있음을 보여주고 있습니다. 이러한 위협에 대응하기 위해서는 AI 기업들 간의 협력뿐만 아니라 더 넓은 기술 생태계와의 협력이 필수적입니다. OpenAI는 "위협 행위자들이 계속해서 우리의 방어를 시험할 것"이라며 "우리는 해로운 목적으로 모델을 남용하려는 시도를 계속해서 식별, 방지, 중단 및 노출하기로 결심했다"라고 밝히며, 보고서를 마무리했는데요, AI가 밝은 면만 보여주는 것은 아니라는 점을 다시 한번 상기시키는 사안들이 아닐 수 없습니다.
출처: OpenAI, "Disrupting malicious uses of our models: an update", February 2025