OpenAI의 최고경영자 샘 알트만은 스탠포드 대학과의 최근 인터뷰에서 AI 보안이 다음 단계의 핵심 과제가 될 것이라고 예측했습니다. 그는 특히 개인화된 AI가 새로운 보안 문제를 불러일으킬 분야라고 설명했습니다.

인터뷰 진행자 댄 보네는 “AI 시스템을 안전하게 만든다는 것은 무엇을 의미하나요? 프롬프트 인젝션 같은 공격으로부터 AI를 어떻게 보호할 수 있나요?”라고 질문했습니다. 이에 대해 알트만은 AI 안전 문제들이 머지 않아 AI 보안 문제로 재정의될 것이며, 지금이 AI 보안 연구에 뛰어들기에 최적의 시기라고 답했습니다.

알트만은 AI 모델이 점점 더 강력해지면서 이를 널리 활용하려면 보안 위험이 크게 증가할 것이라고 강조했습니다. 그는 그중에서도 적대적 견고성(adversarial robustness)을 해결하는 일이 매우 중요해질 것이라고 말했습니다.

또한 알트만은 개인화된 AI가 보안 위협의 새로운 지점을 만든다고 밝혔습니다. AI가 대화 기록과 연결된 데이터를 통해 사용자 맞춤형 응답을 제공하는 것은 편리하지만, 동시에 해커가 이 과정을 악용해 민감한 정보를 탈취할 수 있다는 것입니다.

예를 들어, 사용자가 자신의 건강 정보를 AI 모델에 알려두고 쇼핑을 부탁하면, 해당 전자상거래 사이트에 개인 건강 정보가 유출될 위험이 있습니다. 사람이라면 필요한 맥락을 고려해 정보를 선별하지만, 현재 AI 모델은 이런 판단을 제대로 수행하지 못합니다.

이처럼 개인화는 편의성과 노출 위험이 동시에 존재하는 새로운 공격 표면을 만들어냅니다. 따라서 프라이버시와 사용성을 모두 지키면서 100% 안전을 보장할 수 있는 솔루션을 개발하는 일이 시급한 과제로 떠올랐습니다.

마지막으로 알트만은 AI가 보안 위협의 원인이자 해결책이 될 수 있다고 설명했습니다. AI는 사이버 공격을 탐지하고 방어하는 데 강력한 도구로 활용될 수 있지만, 동시에 공격자가 AI를 악용할 가능성도 존재합니다.

주요 시사점은 다음과 같습니다. 첫째, AI 보안이 AI 안전 문제를 대체하는 차세대 핵심 과제가 될 것입니다. 둘째, 개인화된 AI는 새로운 공격 표면을 제공하므로 추가 보안 대책이 필요합니다. 셋째, AI는 공격자와 수비자의 양면 역할을 하므로 이를 모두 대비해야 합니다. 넷째, 이러한 변화에 대비해 AI 보안 전문가에 대한 수요가 급증할 것입니다.