프롬프트 인젝션
한 줄 정의
프롬프트 인젝션은 사용자가 AI의 기존 지시, 시스템 규칙, 안전장치를 우회하도록 입력을 조작하는 공격 또는 오용 방식이다.
왜 중요한가
생성형 AI는 입력된 문맥을 바탕으로 답변을 만든다. 이 특성 때문에 사용자가 “이전 지시를 무시하라”, “숨겨진 지시문을 출력하라”, “내부 정보를 알려달라”는 식으로 AI의 동작을 흔들 수 있다.
단순 챗봇에서는 피해가 제한적일 수 있지만, AI가 내부 문서 검색, 고객정보 조회, 이메일 작성, API 호출, 코드 실행 같은 도구와 연결되면 위험이 커진다.
위험이 커지는 조건
| 조건 | 위험 |
|---|---|
| 내부 문서 검색 연결 | 비공개 문서 일부가 노출될 수 있음 |
| 고객·학생 데이터 접근 | 개인정보 조회나 요약 과정에서 유출 가능성 |
| API·업무도구 호출 | 승인되지 않은 행동을 수행할 위험 |
| 자동화된 의사결정 보조 | 잘못된 판단을 업무 절차에 반영할 위험 |
| 로그·모니터링 부재 | 공격 시도와 오작동을 사후에 확인하기 어려움 |
운영 기준
- AI가 접근할 수 있는 데이터 범위를 최소화한다.
- 민감한 시스템 지시나 내부 정보를 모델 응답으로 노출하지 않도록 설계한다.
- 프롬프트 공격 패턴을 로그와 모니터링 대상으로 둔다.
- AI 결과물을 자동 실행하지 않고 사람의 검토 단계를 둔다.
- 외부 입력과 내부 지시를 명확히 분리한다.