AI 에이전트 도입 전에 먼저 정해야 할 것: 성공 조건이 아니라 중지 조건
AI 에이전트를 도입하겠다는 조직은 대개 성공 조건부터 묻는다.
무엇을 자동화할 수 있을까. 몇 시간을 줄일 수 있을까. 몇 명의 일을 덜 수 있을까. 보고서 작성 속도가 얼마나 빨라질까. 고객 응대가 얼마나 매끄러워질까.
나쁜 질문은 아니다. 그런데 첫 질문으로는 부족하다.
AI 에이전트 도입 전에 먼저 정해야 할 것은 성공 조건이 아니라 중지 조건이다.
이 에이전트는 언제 멈춰야 하는가. 어떤 상황에서는 스스로 판단하지 말고 사람에게 넘겨야 하는가. 어떤 실행은 아무리 자신 있어도 승인 없이는 하면 안 되는가.
이 질문이 빠진 자동화는 편리한 도구가 아니라 통제되지 않는 실행자가 된다.
에이전트는 답변자가 아니라 실행자다
챗봇은 대개 답을 한다. 틀린 답을 하면 사람이 고쳐 묻거나 무시하면 된다. 물론 이것도 문제지만, 피해 범위는 비교적 좁다.
AI 에이전트는 다르다.
에이전트는 파일을 읽고, 도구를 호출하고, 외부 시스템에 접근하고, 여러 단계를 이어서 처리한다. 경우에 따라 이메일을 보내고, 고객에게 답하고, 데이터를 수정하고, 결재 초안을 만들고, 티켓을 닫는다.
그러면 질문이 바뀐다.
“정답을 잘 내는가”가 아니라 “권한을 가진 상태에서 어디까지 움직여도 되는가”가 된다.
Anthropic은 에이전트를 설명하면서 workflow와 agent를 구분한다. workflow는 정해진 경로를 따라 도구와 LLM을 엮는 구조이고, agent는 모델이 스스로 절차와 도구 사용을 더 많이 결정하는 구조에 가깝다. OpenAI Agents SDK도 agent, tool, handoff, guardrail, tracing 같은 요소를 기본 구성으로 둔다. 둘 다 같은 방향을 가리킨다. 에이전트는 단일 답변보다 실행 루프에 가깝다.
실행 루프에는 반드시 브레이크가 필요하다.
위험한 에이전트는 멍청한 에이전트가 아니다
많은 사람이 AI 리스크를 “AI가 틀리는 문제”로 이해한다. 맞다. 하지만 에이전트에서 더 무서운 장면은 따로 있다.
AI가 틀렸는데도 계속 진행하는 경우다.
잘못된 전제를 잡고 다음 단계로 넘어간다. 불확실한 정보를 확정 사실처럼 보고한다. 사람의 승인이 필요한 일을 처리 완료로 간주한다. 데이터가 부족한데도 결론을 만든다. 외부 시스템 응답이 이상한데 재시도만 반복한다. 예외 상황을 만났는데도 작업 흐름을 끊지 않는다.
이런 에이전트는 “못하는 AI”보다 위험하다. 못하는 AI는 금방 들킨다. 그럴듯하게 계속하는 AI는 늦게 들킨다.
그래서 에이전트 도입에서 필요한 것은 더 좋은 프롬프트만이 아니다. 더 명확한 중지 규칙이다.
중지 조건은 실패 선언이 아니다
조직에서 “멈춘다”는 말은 종종 부정적으로 들린다. 일정 지연, 실패, 책임 회피처럼 들릴 때가 있다.
하지만 AI 에이전트 운영에서 멈춤은 실패가 아니다. 멈춤은 통제 장치다.
좋은 에이전트는 모든 일을 끝까지 밀어붙이는 시스템이 아니다. 좋은 에이전트는 자기 권한의 경계를 안다. 정보가 부족할 때 부족하다고 말한다. 판단 근거가 약하면 다음 단계로 가지 않는다. 승인 없이 실행하면 안 되는 일을 구분한다. 결과를 낸 뒤에도 검증이 끝나기 전까지 완료라고 말하지 않는다.
사람 직원에게도 비슷한 기준이 있다. 신입 직원에게 “알아서 다 해”라고 말하지 않는다. 처리 범위, 보고 기준, 결재선, 예외 상황, 고객에게 직접 말해도 되는 범위를 정한다.
AI 에이전트도 마찬가지다. 오히려 더 엄격해야 한다. 사람은 조직 분위기나 암묵적 맥락을 읽지만, 에이전트는 그 경계를 명시적으로 받지 않으면 모른다.
무엇을 멈춤 조건으로 둘 것인가
에이전트를 도입할 때 최소한 다음 기준은 문서로 정해야 한다.
첫째, 정보 부족 조건이다.
필수 데이터가 없으면 결론을 내리지 않도록 해야 한다. 예를 들어 계약 검토 에이전트라면 계약서 원문, 최신 규정, 금액, 계약 상대, 적용 기준이 없을 때 “검토 완료”라고 말하면 안 된다. 이때는 자료 요청으로 멈춰야 한다.
둘째, 권한 초과 조건이다.
읽기, 초안 작성, 내부 분류, 외부 발송, 데이터 수정은 모두 다른 권한이다. 보고서 초안을 쓰는 권한과 고객에게 보내는 권한은 다르다. 에이전트가 어디까지 할 수 있고, 어디서 사람 승인을 받아야 하는지 나눠야 한다.
셋째, 불확실성 조건이다.
모델이 자신 없어 하는 경우만 문제가 아니다. 모델은 때로 자신 있어 보이게 틀린다. 그래서 “자신감”보다 검증 가능한 근거가 중요하다. 출처가 없거나, 계산이 재현되지 않거나, 시스템 응답이 불일치하면 멈추도록 해야 한다.
넷째, 영향도 조건이다.
실행 결과가 외부 고객, 금전, 인사, 평가, 계약, 법적 책임에 영향을 주면 자동 실행 범위를 좁혀야 한다. 내부 초안은 자동화할 수 있어도 외부 발송은 승인 단계가 필요하다.
다섯째, 반복 실패 조건이다.
같은 작업을 계속 재시도하는 에이전트는 비용과 오류를 키운다. API 호출 실패, 파일 접근 실패, 데이터 충돌, 권한 오류가 일정 횟수 이상 반복되면 멈추고 로그를 남겨야 한다.
여섯째, 검증 미완료 조건이다.
에이전트가 작업을 끝냈다고 말하려면 결과를 읽어 다시 확인해야 한다. 파일을 썼으면 파일이 실제로 생성됐는지, 메시지를 보냈으면 대상에 실제로 전달됐는지, 데이터를 바꿨으면 바뀐 값을 다시 읽었는지 확인해야 한다. 검증 전에는 완료가 아니다.
Human-in-the-loop는 장식이 아니다
많은 AI 도입 문서에 Human-in-the-loop라는 말이 들어간다. 문제는 이 표현이 너무 쉽게 장식처럼 쓰인다는 점이다.
사람이 중간에 있다는 말만으로는 부족하다. 언제 사람이 들어오는지, 무엇을 보고 승인하는지, 승인하지 않으면 무엇이 중단되는지, 승인 이후 책임은 누구에게 있는지가 정해져야 한다.
예를 들어 이런 식이다.
- 에이전트가 외부 발송 문안을 만들 수는 있지만, 발송 버튼은 사람이 누른다.
- 에이전트가 계약 리스크를 표시할 수는 있지만, 위험 등급 확정은 담당자가 한다.
- 에이전트가 예산 집행 데이터를 정리할 수는 있지만, 실제 시스템 반영은 결재 후 실행한다.
- 에이전트가 고객 응대 초안을 제안할 수는 있지만, 보상·환불·법적 표현은 사람 검토 없이는 나가지 않는다.
이 정도로 구체적이어야 한다. 그렇지 않으면 Human-in-the-loop는 책임 회피 문구가 된다.
성공 조건보다 중지 조건이 조직을 더 잘 드러낸다
성공 조건은 대개 보기 좋다.
처리 시간 30% 단축. 반복 업무 자동화. 응답 품질 개선. 직원 만족도 향상. 비용 절감.
하지만 중지 조건을 정하려고 하면 조직의 진짜 구조가 드러난다.
누가 승인권자인가. 어떤 데이터가 공식 기준인가. 어느 정도 오류를 감수할 수 있는가. 고객에게 나가기 전에 누가 보는가. 법적 책임은 어느 부서가 지는가. 시스템 변경 권한은 누구에게 있는가. 예외 상황은 어디로 올라가는가.
이 질문에 답하지 못하는 조직은 AI 에이전트를 도입할 준비가 덜 된 것이다.
에이전트가 없을 때는 이런 빈틈이 사람의 경험과 눈치로 메워졌다. 누가 봐도 이상하면 잠깐 멈추고 물어봤다. 오래 일한 직원은 “이건 결재 올려야 한다”는 감각을 갖고 있었다.
AI 에이전트는 그 감각을 자동으로 갖고 있지 않다. 그러니 조직은 암묵지를 규칙으로 바꿔야 한다. 멈춤 조건은 그 작업의 출발점이다.
대학 행정에도 그대로 적용된다
대학과 공공성 있는 기관에서는 이 문제가 더 중요하다.
입학, 장학, 학사, 인사, 계약, 연구비, 민원, 평가, 교육과정 같은 업무는 단순 처리량보다 책임성이 중요하다. AI가 문서를 빨리 만들고 민원을 빨리 분류하는 것은 도움이 된다. 하지만 잘못된 안내, 잘못된 기준 적용, 승인 없는 외부 발송은 조직 신뢰를 해칠 수 있다.
대학에서 AI 에이전트를 쓴다면 먼저 이런 질문부터 해야 한다.
- 학생에게 직접 안내해도 되는 범위는 어디까지인가.
- 규정 해석이 필요한 경우 어디서 멈출 것인가.
- 개인정보가 포함된 문서는 어떤 도구에 넘기지 않을 것인가.
- 장학·학사·계약처럼 권리관계가 걸린 업무는 누가 최종 확인할 것인가.
- 에이전트가 참고한 규정과 문서 버전을 어떻게 남길 것인가.
- 잘못된 안내가 나갔을 때 정정과 책임 절차는 무엇인가.
이런 질문 없이 AI 에이전트를 붙이면, 행정 효율화가 아니라 행정 리스크 자동화가 될 수 있다.
AI 거버넌스는 거창한 윤리 선언에서 시작하지 않는다. 실제 업무에서 어떤 실행을 멈출지 정하는 데서 시작한다.
에이전트 도입 체크리스트의 첫 줄
나는 앞으로 AI 에이전트 도입 체크리스트의 첫 줄은 이 질문이어야 한다고 본다.
이 에이전트는 언제 스스로 멈추는가?
그다음에야 성공 조건을 물을 수 있다.
무엇을 자동화할 것인가. 얼마나 줄일 것인가. 어떤 성과를 낼 것인가. 어떤 업무를 맡길 것인가.
순서가 중요하다.
멈춤 조건 없이 성공 조건만 정하면, 조직은 빠른 실행자를 얻는 대신 느리게 발견되는 리스크를 얻는다. 반대로 중지 조건이 분명하면 에이전트는 훨씬 안전하게 일을 맡을 수 있다. 권한의 경계가 있고, 승인 구조가 있고, 검증 절차가 있기 때문이다.
AI 에이전트 시대의 생산성은 속도만으로 결정되지 않는다. 실행을 늘리는 만큼 검증과 승인 구조도 같이 커져야 한다.
멈출 줄 아는 에이전트가 운영 가능한 에이전트다.
자동화보다 먼저 필요한 것은 속도가 아니라 통제다. 그리고 통제의 시작은 할 일을 더 많이 적는 것이 아니라, 하지 말아야 할 순간을 먼저 정하는 데 있다.