AI와의 대화, 보이지 않는 위협에 노출되다

업무 자동화와 고객 응대를 위해 도입한 인공지능(AI)이 해커의 손에 조종당할 수 있다는 우려가 현실화되고 있다. 사용자가 입력하는 평범한 질문이나 요청, 즉 '프롬프트(Prompt)'에 악의적인 명령어를 몰래 삽입하여 AI의 행동을 조종하는 '프롬프트 하이재킹(Prompt Hijacking)' 공격이 새로운 사이버 보안 위협으로 떠오르고 있다. 이 공격으로 인해 기업의 민감 데이터가 유출되거나, AI가 편향된 결정을 내리고, 심지어 시스템 내부에 백도어를 생성하는 등의 심각한 피해가 발생할 수 있다.

진화하는 공격, 속수무책인 기업들

과거 바이러스 확산을 막기 위해 방화벽 기술이 발전했듯, AI 보안 기술 역시 생성형 AI의 발전 속도를 따라잡기 위해 고군분투하고 있다. 2022년 처음 학계에 보고된 '프롬프트 주입(Prompt Injection)' 기법은 사용자 입력값에 악성 지침을 숨겨 AI를 속이는 방식이다. 최근 웹 검색 기능이 탑재된 'ChatGPT 아틀라스'와 같은 고도화된 AI 모델이 등장하면서 공격은 더욱 교묘해졌다. OpenAI의 최고정보보호책임자(CISO) 데인 스터키는 "공격자들이 웹페이지, 소셜 미디어 게시물, 심지어 이미지 캡션에까지 데이터 탈취용 명령어를 숨기고 있다"고 경고했다.

실제로 데이터캠프가 2025년 실시한 산업 설문조사에 따르면, 조사 대상 조직의 48%가 지난 1년간 최소 한 번 이상의 프롬프트 기반 공격 시도를 경험했다고 답했다. 그러나 이에 대한 공식적인 방어 체계를 갖춘 곳은 22%에 불과해 대다수 기업이 사실상 무방비 상태에 놓여 있는 것으로 나타났다. 톰슨 로이터 법률팀 역시 "오픈 웹 데이터에만 의존하는 법률 AI 시스템은 소송 결과에 영향을 미치기 위해 설계된 허위 정보 캠페인에 매우 취약하다"고 지적했다.
 

전문가들이 제시하는 5가지 핵심 방어 전략

그렇다면 이 새로운 위협으로부터 조직의 AI를 어떻게 보호할 수 있을까? 보안 전문가들은 다음과 같은 5가지 방어 전략을 시급히 도입해야 한다고 조언한다.

1. 입력값 정제(Sanitize) 및 검증(Validate): 모든 프롬프트에서 HTML 태그 등 불필요한 요소를 제거하고 특수 문자를 이스케이프 처리하며, 입력 길이를 엄격히 제한해야 한다. 이는 악성 스크립트나 예상치 못한 명령어 실행을 원천적으로 차단하는 효과를 가진다.

2. '프롬프트 방화벽' 도입: AI 모델과 사용자 사이에 규칙 기반 엔진을 배치하여 '이전 지시를 모두 무시하라'와 같은 알려진 공격 패턴이나 특정 키워드를 탐지해야 한다. 의심스러운 프롬프트는 즉시 차단하거나 플래그를 지정하여 관리자의 검토를 거치도록 설계한다.

3. 역할 기반 AI 에이전트 격리(Isolation): 각 AI 에이전트에게 '영업 지원', '계약서 초안 작성' 등 명확하고 제한적인 역할을 부여하고, 허용된 작업 범위를 최소화해야 한다. 만약 AI가 탈취되더라도 공격자는 사전에 정의된 권한의 울타리를 넘어설 수 없다.

4. 프롬프트 출처(Provenance) 추적 시스템 구축: 모든 프롬프트의 메타데이터(타임스탬프, 사용자 ID, 입력 소스 URL 등)를 기록하는 시스템을 마련한다. 의심스러운 활동이 감지될 경우, 해당 행동을 유발한 정확한 입력값을 신속하게 추적하고 격리 조치할 수 있다.

5. 지속적인 최신 위협 정보(Threat Signature) 업데이트: 프롬프트 하이재킹 기술은 매주 진화하고 있다. 관련 AI 보안 전문 채널(Simon Willison의 보안 게시판 등)을 구독하고, 새로운 침해 지표를 방화벽 규칙에 신속하게 반영하여 방어 체계를 항상 최신 상태로 유지해야 한다.
 

선제적 방어가 곧 기업의 경쟁력

성공적인 프롬프트 공격 한 번이 야기하는 피해는 막대하다. 수백만 달러의 복구 비용은 물론, 고객의 신뢰를 무너뜨리고 기업의 평판에 치명적인 타격을 줄 수 있다. 법률 AI 플랫폼에서 데이터가 유출되면 집단 소송에 영향을 미칠 수 있으며, 건강 상담 AI가 조작된 정보를 제공하면 환자의 안전을 위협할 수도 있다.

AI 프롬프트를 단순한 텍스트로 간주하는 것은 공격자에게 시스템의 모든 문을 열어주는 것과 다름없다. 보안 사고가 발생한 뒤에야 취약점을 깨닫는 '사후약방문' 식의 대응으로는 더 이상 안전을 담보할 수 없다. 생성형 AI 시대에 최고의 공격은 견고하고 선제적인 방어 체계를 구축하는 것임을 모든 조직이 명심해야 할 때다.