구글의 위협 인텔리전스 그룹(GTIG)은 사이버범죄 분야에서 AI 도구가 범죄자들에 의해 특수 제작되고 판매되는 새로운 암시장 수요가 급속히 성장하고 있다고 경고했습니다. 기존에는 범죄자들이 일반 AI 모델을 생산성 향상 용도로 사용했다면, 이제는 직접 악용 목적의 AI 툴을 설계·배포하는 단계에 이르렀습니다.

특히 ‘Just-in-Time’ AI 맬웨어로 불리는 PROMPTFLUX가 그 사례입니다. 이 코드는 VBScript로 작성되어 구글의 Gemini API를 호출하며, ‘실시간 난독화(self-modification)’ 기법을 적용해 정적 서명 기반 탐지를 회피합니다. 즉, 실행 직전에 스크립트를 변형함으로써 기존 백신이나 보안 솔루션이 악성 행위를 식별하기 어렵게 만듭니다.

이처럼 범죄자들이 LLM(대형 언어 모델)을 악용한 동적 난독화 기법을 테스트하고 있다는 점이 확인되었습니다. 보고서에 따르면 현재까지 수집된 PROMPTFLUX 샘플은 시험 단계지만, 추가 개발이 이루어진다면 훨씬 더 정교하고 위험한 공격 도구가 될 가능성이 높습니다.

암시장 포럼에서는 목적에 따라 설계된 AI 공격 도구가 저렴한 비용에 거래됩니다. 덕분에 전문 해킹 지식이 부족한 초보 범죄자도 손쉽게 고급 사이버공격에 가담할 수 있게 되었습니다. 이는 전반적인 보안 위협 수준을 한층 높이는 요인으로 작용하고 있습니다.

범죄자들은 AI 안전장치도 교묘히 우회합니다. 예를 들어 ‘사이버보안 연구원’으로 가장해 Gemini에 접근, 일반적으로 제한된 보안 정보나 API 기능을 요청받는 사례가 포착되었습니다. 이러한 사회공학적 수법으로 모델의 안전 가드레일을 회피하는 시도가 점점 늘어나고 있습니다.

또한 보고서는 이 같은 불법 AI 캠페인 배후에 이란·중국 등 국가 지원 해킹 그룹이 연루된 정황을 지적합니다. 이들은 데이터 탈취·정보 수집·영향력 행사 등 다양한 목표를 위해 AI 도구를 활용해 왔으며, 이제는 더욱 공격적인 작전을 추진하는 단계로 진화하고 있습니다.

한편, 기업 보안팀 역시 AI를 방어·탐지 도구로 적극 도입하고 있지만, 범죄자들이 직접 설계한 공격형 AI와의 경쟁 구도에서 우위를 점하기는 쉽지 않은 상황입니다. 구글은 기업들이 AI 기반 방어 전략을 강화하고, API 요청 모니터링·전용 보안 계층 도입 등을 통해 내부 보안 태세를 개선할 것을 권고합니다.