IEEE Spectrum의 ‘How I Turned AI to the Dark Side’에 보안 연구자 Dave Kuszmar의 경험이 공개됐다. 그는 Fortnite에 등장하는 Darth Vader 캐릭터가 Google Gemini 대형 언어 모델(LLM)에 연결된 사실을 이용해, 채팅으로 민감한 정보를 빼내는 데 성공했다. 그가 공개한 내용을 보면 비교적 단순한 기술만으로 LLM에서 화염병 제조법, 필로폰 제조법, 무기급 우라늄 농축 시설을 부트스트래핑하는 방법까지 얻을 수 있었다고 한다.
Kuszmar는 이런 취약점이 거의 모든 주요 LLM에서 작동했다고 말한다. 특정 회사 한 곳의 문제가 아니라, 업계 전체에 걸친 구조적 보안 결함이라는 얘기다. 그는 AI 기업들이 이런 취약점을 알려도 충격적으로 무반응이었다고도 덧붙였다.
LLM 안전장치는 대부분 중앙 서버에서 관리된다. 모델 제공사가 ‘위험한 내용’을 판단해서 차단하는데, Kuszmar는 바로 그 차단 로직이 역이용된다고 말한다. 그가 발견한 핵심은 모델을 안전하게 만들기 위해 추가한 제한이 공격자가 모델을 탈선시키는 도구가 된다는 점이다. 요청을 어떻게 꼬느냐에 따라 안전장치가 오히려 공격을 도와주는 구조인 셈이다.
P2P 네트워크 관점에서 이건 아주 익숙한 교훈이다. 중앙 서버 하나가 모든 검증을 독점하면, 그 서버의 정책과 로직이 곧 전체 시스템의 단일 실패 지점(single point of failure)이 된다. 우리는 WebRTC나 분산 스토리지 같은 기술을 쓸 때도 ‘누가 이 노드를 신뢰할 수 있게 만드는가’를 먼저 본다. LLM도 마찬가지다. 안전장치가 블랙박스로 숨겨져 있으면, 그 블랙박스를 뒤집어보려는 공격자만 유리해진다.
Kuszmar는 해결책으로 배포 속도를 늦추고, 투명성을 높이고, LLM 안전에 대한 대규모 연구를 진행해야 한다고 말한다. 이건 P2P 생태계에서 오랫동안 써온 방식과 닿아 있다. 핵심 로직을 공개하고, 다양한 주체가 테스트하며, 취약점을 발견하면 바로 공유하는 구조. 중앙이 독점적으로 ‘안전함’을 선언하는 대신, 네트워크 전체가 안전성을 검증하자는 접근이다.
물론 분산화가 보안의 전부는 아니다. 모델을 여기저기 배포한다고 해서 위험한 생성물이 사라지지는 않는다. 다만 지금처럼 모든 취약점 보고가 특정 기업의 내부 프로세스에 묻히는 구조라면, 같은 실패가 반복될 수밖에 없다. ‘어느 중앙 기관이 안전을 보장한다’는 환상보다, 취약점 정보가 동료들 사이에서 자유롭게 흐르는 개방형 감사 체계가 현실적이다.
우리도 PonsLink, PonsWarp 같은 초기 P2P 제품을 만들면서 비슷한 긴장을 겪는다. 기능은 빠르게 내놓아야 하는데, 공격 표면은 계속 늘어난다. 이번 사례가 주는 교훈은 분명하다. ‘우리는 안전하다’고 광고하는 것보다, 어떤 조건에서 무너지는지를 공개하고 대응 절차를 만들어두는 게 운영의 기본이라는 것.
P2P 프로젝트도 LLM을 쓰게 될 날이 오겠지만, 그때도 같은 함정을 피해야 한다. 중앙 API가 내려주는 판정을 무조건 믿지 말고, 위험한 출력이 나왔을 때 로그와 증거를 분산 기록으로 남겨 빠르게 학습하는 구조가 필요하다. 취약점은 숨기는 순간 더 커진다.
댓글