AI를 만든 사람들이 왜 AI를 멈춰달라고 말할까

AI를 비판하는 사람들은 늘 있었다.

일자리가 사라진다. 개인정보가 위험하다. 편향이 심하다. 학생들이 생각하지 않는다. 언젠가 인간이 통제하지 못할 수 있다.

이런 말은 이제 익숙하다. 그래서 오히려 잘 안 들린다. 또 하나의 기술 비관론처럼 지나가기 쉽다.

그런데 최근 신호는 조금 다르다.

AI를 비판하는 사람이 아니라, AI를 만드는 사람들 안에서 “속도를 늦춰야 한다”는 말이 나오고 있다.

Axios는 최근 보도에서 이 흐름을 아주 노골적인 제목으로 잡았다. OpenAI is begging for someone to slow the AI race.¹

말이 세다. 하지만 과장이기만 한 것은 아니다.

OpenAI 수석과학자 Jakub Pachocki는 An Alien Mind에서 현재 어떤 연구소도 alignment와 monitoring 문제를 충분히 해결해서 최대 속도로 계속 스케일링할 수 있는 상태는 아니라고 썼다.²

Anthropic 쪽에서도 비슷한 경고가 나왔다. BBC는 Anthropic alignment lead Evan Hubinger가 10년 안에 AI가 인류를 멸종시킬 가능성을 10% 이상으로 본다고 공개적으로 말했다고 보도했다.³

이 정도면 단순한 논쟁이 아니다.

이건 내부자의 운영 리스크 보고서에 가깝다.

문제는 AI가 똑똑해지는 속도만이 아니다

AI 안전 논쟁은 흔히 이렇게 소비된다.

AI가 인간보다 똑똑해질까?
AGI가 올까?
초지능이 인간을 지배할까?

물론 중요한 질문이다. 하지만 지금 조직과 사회가 바로 봐야 할 질문은 조금 다르다.

AI가 더 많은 일을 스스로 하게 될 때, 사람은 어디에서 통제할 수 있는가?

Astra 같은 모델은 단순히 답을 잘하는 모델이 아니다. 브라우저, 파일, 코드, 외부 도구를 다루는 방향으로 간다. AI 에이전트는 사용자의 지시를 받아 여러 단계를 스스로 계획하고 실행한다.

그러면 위험도 바뀐다.

챗봇이 틀린 답을 하면 답변창 안에서 문제가 생긴다. 에이전트가 틀린 행동을 하면 파일이 바뀌고, 메일이 보내지고, 서버가 호출되고, 외부 사이트에 흔적이 남을 수 있다.

그래서 AI 위험의 중심은 “지능”에서 “행동”으로 이동한다.

AI가 무슨 생각을 하는가보다, AI가 실제로 무엇을 할 수 있는가가 더 중요해진다.

내부자 경고가 불편한 이유

외부 비판자는 멈추라고 말하기 쉽다.

하지만 OpenAI와 Anthropic 내부자는 다르다. 이들은 속도를 늦추면 경쟁에서 뒤처질 수 있다는 것을 안다. 회사의 성장, 투자, 제품 로드맵, 국가 경쟁 논리까지 모두 걸려 있다.

그런데도 일부 연구자들이 공개적으로 경고한다는 것은, 최소한 그들이 보기에는 현재의 통제 장치가 충분하지 않다는 뜻이다.

Pachocki는 chain-of-thought monitoring, 즉 모델의 추론 과정을 관찰하는 접근이 중요했지만, 더 복잡한 에이전트 환경에서는 감시가 어려워질 수 있다고 말한다.²

이 대목이 중요하다.

AI가 말만 할 때는 답을 검토하면 된다. AI가 도구를 쓰면 행동 로그를 봐야 한다. AI가 자기 추론을 다루고, 다른 AI와 상호작용하고, 외부 환경을 이용하면 단순한 사후 검토로는 부족해진다.

검증은 더 이상 오탈자 검사나 출처 확인이 아니다.

권한, 로그, 중단 조건, 사후 책임을 포함한 운영 구조가 된다.

회사들은 왜 스스로 멈추기 어려운가

여기서 딜레마가 생긴다.

각 회사는 위험을 안다. 하지만 혼자 멈추면 손해를 본다.

OpenAI가 늦추면 Anthropic이 앞서갈 수 있다. Anthropic이 늦추면 Google이나 Meta가 앞서갈 수 있다. 미국 회사들이 늦추면 중국이 앞서갈 수 있다는 국가 경쟁 논리도 따라붙는다.

그래서 내부자들은 “우리가 알아서 멈추겠다”가 아니라, 정부·경쟁사·외부 기관이 함께 속도 조절 장치를 만들어야 한다고 말하기 시작했다.

이건 기술 문제가 아니라 거버넌스 문제다.

AI 거버넌스가 선언문에 머물 수 없는 이유도 여기에 있다. 경쟁 압력이 있는 시장에서 선의만으로 속도를 조절하기는 어렵다.

좋은 의도는 통제 장치가 아니다.

조직에 필요한 질문은 “쓸까 말까”가 아니다

기업과 대학도 이 논쟁을 먼 이야기로 보면 안 된다.

우리는 초지능을 만들지는 않는다. 하지만 에이전트를 쓴다. 문서를 맡기고, 코드를 맡기고, 리서치를 맡기고, 고객 응대를 맡기고, 행정 업무를 맡기기 시작한다.

그러면 질문은 단순하지 않다.

AI를 도입할까 말까?

보다,

AI에게 어떤 권한을 줄 것인가?
어떤 업무는 반드시 사람이 승인해야 하는가?
AI가 외부 시스템에 쓴 흔적은 어디에 남는가?
문제가 생기면 누가 설명할 수 있는가?
어떤 상황에서는 자동으로 멈추게 할 것인가?

를 물어야 한다.

조직의 AI 리터러시는 프롬프트 교육만으로 만들어지지 않는다. AI 리터러시는 이제 권한과 책임을 설계하는 능력이다.

교육기관은 더 예민해야 한다

대학과 학교는 AI를 단순 생산성 도구로만 받아들이기 어렵다.

학생의 학습, 연구윤리, 평가, 개인정보, 행정 책임이 함께 얽혀 있기 때문이다.

AI를 금지할 수도 없고, 무작정 허용할 수도 없다. 따라서 교육기관의 AI 정책은 “사용 가능”과 “사용 금지” 사이에 더 많은 칸을 만들어야 한다.

AI를 써도 되는 단계
AI를 쓰면 안 되는 단계
AI 사용을 기록해야 하는 단계
AI 결과를 비판적으로 검토해야 하는 단계
사람의 독립 판단이 반드시 필요한 단계

이런 설계 없이 AI를 들여오면 편리함은 늘지만 책임은 흐려진다.

대학컨설팅 관점에서 보면 AI 도입은 도구 구매가 아니다. 운영 모델 개편이다.

결론: 내부자의 경고는 종말론이 아니라 설계 요구다

“AI가 인류를 멸종시킬 수 있다”는 문장은 너무 크다. 그래서 오히려 일상 업무와 멀어 보인다.

하지만 오늘 우리가 붙잡아야 할 부분은 거대한 공포가 아니다.

AI를 가장 가까이에서 만드는 사람들이, 지금의 속도와 통제 방식에 대해 공개적으로 불안을 말하기 시작했다는 사실이다.

이 신호를 종말론으로만 소비하면 아무것도 바뀌지 않는다. 반대로 운영의 언어로 번역하면 당장 할 일이 보인다.

권한을 줄여야 한다.
로그를 남겨야 한다.
중단 조건을 정해야 한다.
사람의 승인 지점을 설계해야 한다.
책임자를 정해야 한다.

AI를 만든 사람들이 왜 AI를 멈춰달라고 말할까.

그들이 AI를 싫어해서가 아니다.

너무 잘 알기 때문이다.

참고자료