에이전틱 AI 시대의 거버넌스: 윤리 체크리스트에서 런타임 통제로

기업의 AI 거버넌스는 더 이상 윤리 원칙을 적어둔 문서나 내부 포털에 올라간 체크리스트만으로는 충분하지 않다. [[에이전틱 AI]]가 기업 데이터에 접근하고, 도구를 호출하고, 시스템 안에서 실제 행동을 수행하기 시작하면 거버넌스는 문서가 아니라 런타임 통제 아키텍처가 된다.

오늘의 핵심

AI 거버넌스 논의는 빠르게 바뀌고 있다. 기존에는 “AI를 윤리적으로 쓰자”, “개인정보를 조심하자”, “승인된 도구만 쓰자” 정도의 원칙이 중심이었다. 물론 여전히 중요하다. 하지만 에이전트가 기업 시스템 안에서 행동하기 시작하면 질문이 달라진다.

이 에이전트는 무엇을 볼 수 있고, 무엇을 제안할 수 있으며, 무엇을 실행할 수 있는가?

Gartner는 기업들이 AI 에이전트 거버넌스를 이분법적으로 다루는 것이 실패의 원인이라고 지적한다. 모든 에이전트를 똑같이 잠그거나, 반대로 모두 신뢰하는 방식이 문제라는 것이다. Gartner는 에이전트의 자율성과 접근 범위에 따라 Observe, Advise, Act with Approval, Act Autonomously처럼 다른 통제 수준을 적용해야 한다고 설명한다.¹

IBM도 비슷한 방향을 말한다. AI 에이전트는 기존 생성형 AI 도구와 달리 단순히 답을 생성하는 수준을 넘어 실제 행동을 수행할 수 있다. 그래서 자율성, 설명가능성, 사이버보안, 모니터링, 인간 감독, 비상 중단 장치가 거버넌스의 핵심 요소가 된다.²

왜 기존 AI 거버넌스로는 부족한가

기존 AI 거버넌스는 대체로 세 가지 방식으로 작동했다.

1. 사용 가능한 AI 도구 목록을 정한다.
2. 입력하면 안 되는 데이터 유형을 정한다.
3. 위험한 사용 사례는 승인 절차를 거치게 한다.

이 방식은 챗봇형 AI나 문서 생성 도구에는 어느 정도 통한다. 하지만 에이전틱 AI에서는 부족하다. 에이전트는 답변만 하는 것이 아니라 도구를 호출하고, API를 사용하고, 업무 시스템에 접근하고, 때로는 사용자의 개별 승인 없이 다음 단계를 이어갈 수 있다.

Lily Kollé의 Medium 글은 대기업이 이미 큰 [[섀도우 AI]] 문제를 갖고 있다고 지적한다. 정책이 SharePoint 같은 내부 저장소에 올라가 있어도, 실제 현업 워크플로우 안에서 작동하지 않으면 규제가 도움이 되지 않는다는 문제의식이다.³

이 말은 꽤 현실적이다. 회사에 AI 사용규정이 있어도 직원이 개인 계정으로 외부 AI 도구를 쓰거나, 팀 단위로 승인되지 않은 자동화 워크플로우를 만들면 거버넌스는 문서 밖으로 밀려난다.

에이전틱 AI 거버넌스의 네 층

여러 공개 자료를 종합하면, 에이전틱 AI 시대의 거버넌스는 네 층으로 봐야 한다.

EY는 Responsible AI가 단순 컴플라이언스가 아니라 성과 레버라고 말한다. EY의 Responsible AI Pulse Survey 기반 글에 따르면 책임 있는 AI 실행은 원칙 수립에서 끝나지 않고, KPI, 교육, 전담 예산, 실시간 모니터링, 감독위원회, 독립 평가로 이어져야 한다.⁴

EW Solutions는 AI를 확장하기 전에 데이터 거버넌스와 자산 관리 체계가 먼저 있어야 한다고 강조한다. 어떤 데이터가 어디서 왔고, 어떤 모델이나 AI 시스템에 들어갔는지 추적할 수 없으면 AI 판단의 책임도 흐려진다.⁵

즉 좋은 AI 거버넌스는 하나의 위원회나 하나의 정책 파일이 아니다. 리더십, 데이터, 보안, 현업, 법무, IT 운영이 함께 작동하는 Full-Stack Governance에 가깝다.

핵심 전환: 사전 승인에서 런타임 통제로

에이전틱 AI의 핵심 문제는 속도다. 사람이 모든 행동을 사전에 검토하면 업무 자동화의 장점이 사라진다. 반대로 아무 통제 없이 실행하게 두면 데이터 유출, 오작동, 잘못된 고객 응대, 규정 위반이 순식간에 커질 수 있다.

그래서 필요한 것이 [[런타임 텔레메트리]]다. 쉽게 말하면 에이전트가 실제 실행 중에 무엇을 보고, 무엇을 호출하고, 어떤 결정을 내리고, 어떤 시스템을 변경했는지 실시간으로 관찰하는 구조다.

Gartner는 자율 에이전트가 인간 감독보다 빠른 속도와 규모로 행동할 수 있다고 지적한다. 그래서 에이전트의 자율성 수준에 따라 접근권한, 승인 흐름, 로그, 보안 테스트, 사고 대응 절차를 다르게 설계해야 한다.¹

여기서 중요한 것은 모든 에이전트를 똑같이 통제하지 않는 것이다.

이 구조가 없으면 두 가지 문제가 생긴다. 단순 요약 에이전트는 과도하게 막혀서 현업이 우회하고, 자율 실행 에이전트는 너무 느슨하게 풀려서 사고를 만든다.

인간은 어디에 개입해야 하나

에이전틱 AI 거버넌스에서 흔한 오해는 “중요한 것은 모두 사람이 승인하면 된다”는 생각이다. 하지만 현실적으로 모든 행동을 사람이 승인할 수는 없다. 승인 요청이 많아지면 사람은 지치고, 승인 버튼은 형식이 된다.

그래서 인간 개입은 더 정교하게 설계되어야 한다.

• 저위험 반복 작업은 기계적 정책과 로그로 통제한다.
• 중간 위험 작업은 명확한 승인 워크플로우를 둔다.
• 고위험 판단은 인간의 의미 있는 검토를 요구한다.
• 윤리·법무·고객 신뢰와 연결된 판단은 에스컬레이션한다.

이것이 [[Human-in-the-loop]]의 현실적인 형태다. 모든 루프에 인간을 넣는 것이 아니라, 인간이 꼭 판단해야 하는 지점을 설계하는 것이다.

좋은 AI 거버넌스의 KPI

AI 거버넌스의 성과를 “규정이 있는가”로만 보면 실패한다. 진짜 봐야 할 것은 운영 지표다.

EY의 글도 책임 있는 AI가 비용만 늘리는 장치가 아니라, AI 투자를 실제 성과로 연결하는 성과 레버가 될 수 있다고 본다.⁴ 이 관점이 중요하다. 거버넌스는 브레이크만이 아니다. 제대로 설계된 거버넌스는 조직이 AI를 더 과감하게 배포할 수 있게 해주는 안전한 가속 페달이다.

조직이 지금 점검해야 할 것

기업이 에이전틱 AI를 도입하려면 최소한 다음 질문에 답해야 한다.

1. 우리 조직에서 승인 없이 쓰이는 AI 도구와 워크플로우는 무엇인가?
2. AI 에이전트가 접근할 수 있는 데이터와 시스템은 어디까지인가?
3. 읽기, 추천, 실행, 자율 실행을 구분한 권한 체계가 있는가?
4. 에이전트 행동 로그를 실시간으로 볼 수 있는가?
5. 고위험 행동에는 의미 있는 인간 승인 절차가 있는가?
6. 문제가 생겼을 때 중단·롤백·보고 라인이 있는가?
7. AI 거버넌스가 법무팀 문서가 아니라 현업 워크플로우 안에서 작동하는가?

이 질문에 답하지 못한다면, 조직은 AI를 쓰는 것이 아니라 AI 사용이 조직 안에서 퍼지는 것을 뒤늦게 따라가고 있을 가능성이 크다.

한 문장으로 정리하면

에이전틱 AI 시대의 거버넌스는 윤리 체크리스트가 아니라 전사 운영 아키텍처다. 정책은 필요하지만 충분하지 않다. AI 에이전트가 실제로 무엇을 볼 수 있고, 무엇을 할 수 있으며, 문제가 생겼을 때 누가 멈출 수 있는지를 설계해야 한다.

앞으로 좋은 AI 조직은 “AI를 금지하지 않는 조직”도, “AI를 마음대로 쓰게 하는 조직”도 아닐 것이다. 좋은 조직은 AI의 자율성을 단계별로 나누고, 데이터와 권한을 추적하며, 런타임에서 행동을 관찰하고, 인간이 개입해야 할 지점을 정확히 설계하는 조직이다.

확인한 출처

• Lily Kollé, 「How to Design AI Governance for Enterprise」, Medium / Bootcamp
• Gartner, 「Gartner Says Applying Uniform Governance Across AI Agents Will Lead to Enterprise AI Agent Failure」
• EY, 「How responsible AI translates investment into impact」
• IBM Think, 「AI Agent Governance: Big Challenges, Big Opportunities」
• EW Solutions, 「The Enterprise AI Governance Framework: What You Need Before You Scale AI」