[제183호] 송경호 전문연구원 - 프론티어 없는 위협: 북한의 인공지능 역량 검증의 사각지대

제183호

송 경 호

(연세대학교 통일연구원 전문연구원)

프론티어 없는 위협: 북한의 인공지능 역량 검증의 사각지대

한의 인공지능(AI) 역량은 최근 몇 년 사이 북한·안보 연구의 핵심 주제로 부상했다. 폐쇄적인 체제의 특성과 광범위한 제재로 인해, 북한의 실제 AI 역량에 대한 평가가 어려운 것이 사실이지만, 학술지 논문과 관영매체 등을 참조하면, 북한의 AI 역량에 대한 기존 논의는 크게 두 가지 관점으로 정리할 수 있다.

　첫 번째 관점은 북한을 제약 속의 ‘개발자(developer)’로 간주하는 것이다. 이 흐름의 연구들은 산업 자동화, 위성영상 분석, 전장 시뮬레이션 등 북한의 자체 개발 동향을 추적하는 한편, 제재 하에서 해외 학계와의 국제 협력망을 통해 기술을 흡수하려는 시도에 주목한다. 한편, 두 번째 관점은 북한을 비대칭 전략의 ‘사용자(user)’로 간주하는 것이다. 이 흐름의 연구들은 암호화폐 탈취, AI를 활용한 원격 IT 노동자 위장취업, 딥페이크 신원 위조, 피싱과 악성코드 정교화 등 사이버·경제 범죄에서 AI가 기존 작전을 증폭하는 ’전력 승수’로 기능하는 양상에 주목한다.1) 

 　본고에서는 이러한 두 가지 관점에 더해, 북한이 ‘개발자’와 ‘사용자’ 사이의 ‘수정자(modifier)’로서, 프론티어 모델을 스스로 만들 수 없지만 여전히 프론티어 급의 역량을 가질 수 있다는 제3의 가능성을 제시하고자 한다.2)

 　미토스 프리뷰(Mythos Preview) 이후, 프론티어 AI의 역량과 위험성에 대한 논의가 활발히 이루어지고 있다. 현재 미토스를 비롯한 프론티어 AI에 대한 규제는 연산량(compute)을 위험의 대리지표(proxy)로 삼는다.3) 보다 직관적으로 설명하자면, 스케일링 이론(scaling theory)에 따라, 더 많은 연산을 쏟아부어 더 오래·더 크게 학습시킨 모델일수록 더 강력하다는 경험칙에 기대어, 학습에 사용된 연산량을 그 모델이 얼마나 ’위험할 수 있는가’의 대략적 척도로 삼고 있는 것이다.4)

   더 큰 역량은 더 큰 연산량을 필요로 하고, 더 큰 연산량은 더 큰 데이터센터, 더 많은 GPU, 더 많은 전력을 필요로 한다고 할 때, 북한은 애초에 이 모든 것에 해당사항이 없는 것처럼 보인다. 첨단 반도체에 대한 수출통제와 대북 제재, 그리고 새롭게 추가된 프론티어 모델에 대한 접근제한에 따라, 북한이 임계점 이상의 학습을 수행할 물리적 기반을 갖추거나 프론티어 모델에 자유롭게 접근하는 것은 사실상 불가능해 보이기 때문이다.

   그러나 프론티어 모델을 자체적으로 개발할 수 없다는 사실이 곧 프론티어급 역량을 갖추지 못한다는 뜻은 아니다. 널리 공개되어 자유롭게 내려받을 수 있는 니어-프론티어(near-frontier) 오픈웨이트(open-weight) 모델, 즉 성능은 최첨단에 근접하되 그 가중치가 공개된 모델이 분명히 존재하며, 나아가 파인튜닝 등의 방법을 통해 안전장치에 해당하는 가드레일(guardrail)을 우회하거나 제거할 수 있기 때문이다. 요컨대, 첨단 모델을 소유하지 않고도 그에 준하는 위험한 역량을 손에 넣을 수 있는 방법이 이미 존재하는 것이다.5) 

   보다 근본적으로, 최근 ’연산량이 곧 역량’이라는 인과의 사슬의 근간이 여러 방향에서 흔들리고 있다. 첫째는 증류(distillation), 간단히 말해, 크고 강력한 ‘교사(teacher)’ 모델의 행동을 모방하도록 훨씬 작은 ‘학생(student)’ 모델을 학습시키는 기법으로, 그 결과 학생 모델은 자신이 실제로 소비한 연산량에 비해 지나치게 높은 성능을 갖게 된다.6) 둘째는 테스트타임 스케일링(test-time scaling)으로, 과거에는 성능이 대부분 학습 단계에서 결정된다고 보았으나, 최근 모델들은 질문에 답하는 추론(inference) 단계에서 더 오래 ’생각’하도록 연산을 추가로 투입하면 성능이 크게 향상된다는 것이다. 그 결과 학습 연산량이 동일하거나 더 적은 모델이라도 추론 시점의 연산 배분에 따라 훨씬 뛰어난 능력을 보일 수 있다.

   이 두 흐름 모두 임계값에 미달하는 모델이라도 임계값을 초과하는 모델의 역량에 근접할 수 있음을 의미한다. 이에 따라, 프론티어급 폐쇄형 모델과 오픈웨이트 모델 사이의 역량 격차는 빠르게 좁혀지고 있다. 문제는 폐쇄형 모델에 비해, 오픈웨이트 모델의 안전장치가 파인튜닝(fine-tuning) 등을 통해 비교적 쉽게 제거 가능하다는 데 있다.7) 그렇게 안전장치가 제거되었거나 애초에 거부 훈련을 거치지 않은 모델을 헬프풀-온리(helpful-only) 모델이라 부르는데, 이런 모델은 어떤 요청도 거부하지 않는다. 심지어, 대규모 학습에는 임계값급의 막대한 연산이 필요하지만, 이미 만들어진 오픈웨이트 모델의 안전장치를 무력화하는 데에는 많은 연산이 필요하지도 않다.8)  

   이러한 기술적 가능성은 몇 가지 함의를 남긴다. 첫째, 연산량 중심의 프론티어 모델에 대한 규제 및 접근 제한은 충분조건이 아니다. 임계값은 대규모 학습을 수행하는 정상적 시장 행위자를 대상으로 하지만, 진짜 위험한 ‘수정자’는 어쩌면 임계값 아래, 시장 바깥, 관측 너머에 존재할 수 있다.

   둘째, 오픈웨이트 모델의 공개는 필수불가결하다는 점을 인정 하더라도, 이른바 ‘악용 내성’, 즉 제거하기 어려운 형태의 안전장치를 설계하는 연구, 안전장치 제거 여부를 추적할 수 있는 기술 확보 등이 요구된다.

   셋째, 검증 기술은 그 자체로 충분하지 않으며, 이를 운용하고 그 결과를 해석하며 집행할 제도적 기반, 그리고 그 제도에 대한 국가 간 신뢰를 필요로 한다. 전통적 대북 위협 분석이 미사일·핵·재래식 전력과 사이버 위협을 다루어 왔다면, 이제는 제한된 상황에도 불구하고 북한이 어떻게, 얼마만큼 AI 기술을 전용(轉用)할 수 있는가라는 문제가 추가되어야 할 것이다.

1)  Andrew Shin, 2025, “Emerging Applications and Implications of Artificial Intelligence in North Korea,” Asian Politics & Policy, https://onlinelibrary.wiley.com/doi/full/10.1111/aspp.70026. 북한 AI 연구의 역사적 전개(1990년대 ’은별’부터 2010년대 딥러닝 전환)와 민·군 응용 동향에 관해서는 Hyuk Kim, “North Korea’s Artificial Intelligence Research: Trends and Potential Civilian and Military Applications,” 38 North, 2024.1.23., https://www.38north.org/2024/01/north-koreas-artificial-intelligence-research-trends-and-potential-civilian-and-military-applications/. 제재 하 북한의 해외 학계와의 AI 연구 협력망에 관해서는 “North Korea’s International Network for Artificial Intelligence Research,” 38 North, 2024.8.21. https://www.38north.org/2024/08/north-koreas-international-network-for-artificial-intelligence-research/.

2)  Michael Barnhart, “North Korea’s Integration of AI Across Cyber, Economic, and Military Domains,” 38 North, 2026.2.27, https://www.38north.org/2026/02/north-koreas-integration-of-ai-across-cyber-economic-and-military-domains/. 앤트로픽은 북한 연계 행위자가 생성형 AI를 활용해 위장 신원을 만들고 기술 평가를 통과하며 실제 업무를 수행하는 방식으로 미국 대기업 원격직에 취업, 제재를 회피하면서 정권 수익을 창출한 사례를 보고하고, AI가 과거 “수년의 특화 훈련”이라는 병목을 제거했다고 평가한 바 있다. Anthropic, 2025, “Detecting and Countering Misuse of AI: August 2025”, https://www.anthropic.com/news/detecting-countering-misuse-aug-2025 

3)  여기서 연산량이란 모델을 학습(training)시키는 데 들어간 계산의 총량을 뜻하며, 보통 부동소수점 연산 횟수인 FLOP(FLoating-point OPerations)라는 단위로 측정한다.

4) 이 원리에 따라 주요 법제에서는 구체적인 연산량 임계값을 설정하고 있다. 대표적으로, EU AI법은 학습에 사용된 누적 연산량이 10²⁵ FLOPs를 초과하는 범용 AI 모델을 ‘시스템적 위험(systemic risk)’을 가지는 것으로 간주한다. 우리나라의 AI기본법에서는 안전성 확보 대상 AI의 기준을 10²⁶ FLOPs로 설정하고 있다. 연산량을 AI 거버넌스의 지렛대로 삼는 근거에 관해서는 Girish Sastry et al., 2024, “Computing Power and the Governance of Artificial Intelligence,” https://arxiv.org/abs/2402.08797.

5)  오늘날 LLM은 크게 두 방식으로 배포된다. 하나는 챗지피티나 클로드 같은 폐쇄형(closed-weight) 방식으로, 이용자는 인터넷을 통해 모델의 응답만 받을 뿐 모델 내부에는 접근할 수 없다. 다른 하나는 오픈웨이트 혹은 오픈소스 방식으로, 허깅페이스 등을 통해 누구나 모델을 내려받아 자신의 컴퓨터에서 실행하고 수정할 수 있다. 오픈웨이트 모델은 개방성과 혁신의 원천이라는 뚜렷한 장점을 갖지만, 바로 그 개방성이 이 글이 다루는 위험의 출발점이 된다.

6)  대형 모델의 지식을 소형 모델로 이전하는 증류 기법의 고전적 정식화는 Geoffrey Hinton, Oriol Vinyals & Jeff Dean, 2015, “Distilling the Knowledge in a Neural Network,” https://arxiv.org/abs/1503.02531. 아울러 학습 연산량만으로 규칙 준수를 검증하기 어렵다는 기술적 논의는 Yonadav Shavit, 2023, “What Does It Take to Catch a Chinchilla? Verifying Rules on Large-Scale Neural Network Training via Compute Monitoring,” arXiv:2303.11341, https://arxiv.org/abs/2303.11341.

7)  여기서 ‘안전장치’ 또는 ’가드레일’이란, 모델이 위험하거나 유해한 요청을 거부하도록 개발 과정에서 심어 넣은 행동 규범을 말한다. 이는 흔히 안전 정렬(safety alignment) 또는 거부 훈련이라 불리며, 모델이 특정 유형의 요청 앞에서 “그 요청은 도와드릴 수 없습니다”라고 응답하도록 만드는 추가 학습 과정을 포괄한다. 오늘날의 안전 평가 체계는 암묵적으로 이러한 가드레일을 포함한 테스팅을 전제로 하고 있다.

8)  한 실증 연구는 표준적인 파인튜닝 기법만으로 단일 GPU 한 대에서 Llama 3 계열 공개 모델의 안전장치를 소형(8B)은 약 1분, 대형(70B)은 약 30분 만에 제거하면서도 모델의 유용성은 그대로 유지됨을 보였다. Dmitrii Volkov, 2024, “Badllama 3: Removing Safety Fine-tuning from Llama 3 in Minutes,” https://arxiv.org/abs/2407.01376. 심지어 파인튜닝조차 필요 없이, 모델 내부에서 ’거부’에 해당하는 방향의 신호만 골라 제거(refusal-vector ablation)하는 방식도 존재한다. Simon Lermen, Mateusz Dziemian & Govind Pimpale, 2024, “Applying Refusal-Vector Ablation to Llama 3.1 70B Agents,” https://arxiv.org/abs/2410.10871.

#키워드: AI 안전, AI 검증, 오픈웨이트 모델, 가드레일 제거, 북한, AI Safety, AI Verification, Open-weight Models, Guardrail Removal, North Korea

● Issue Brief는 집필자의 견해를 토대로 작성된 것으로 연세대학교 통일연구원의 공식 입장과는 관련이 없습니다.    

이슈브리프 183호 (송경호 박사님).pdf

PDF 다운로드 • 274KB