AI가 똑똑해질수록, 인간은 왜 더 의심해야 하는가
AI가 똑똑해질수록, 인간은 왜 더 의심해야 하는가
AI가 더 똑똑해질수록 사람은 더 편해질까.
직관적으로는 그렇다. 더 좋은 모델은 더 좋은 답을 준다. 더 복잡한 문제를 풀고, 더 긴 작업을 처리하고, 더 많은 도구를 사용한다. 그러면 사람은 덜 의심하고 더 많이 맡기면 될 것처럼 보인다.
하지만 OpenAI 수석과학자 Jakub Pachocki의 글 An Alien Mind가 던지는 메시지는 반대에 가깝다.1
AI가 더 똑똑해질수록, 사람은 더 많이 의심해야 한다.
이상한 말처럼 들리지만 이유는 단순하다. 모델의 능력이 커질수록, 사람이 그 능력을 검증하고 감시하고 멈추는 일이 더 어려워지기 때문이다.
똑똑한 도구는 설명 가능한 도구가 아니다
우리는 보통 AI 성능을 답의 품질로 본다.
수학을 잘 푸는가. 코드를 잘 짜는가. 글을 잘 쓰는가. 브라우저를 잘 쓰는가. 실험을 잘 설계하는가.
하지만 AI 에이전트가 실제 업무 안으로 들어오면 더 중요한 질문이 생긴다.
왜 그렇게 했는가?
어디까지 권한을 사용했는가?
어떤 근거를 믿었는가?
어떤 경고를 무시했는가?
멈춰야 할 때 멈췄는가?
이 질문에 답하지 못하면 성능은 오히려 위험이 된다.
Pachocki는 OpenAI가 chain-of-thought monitoring, 즉 모델의 추론 과정을 관찰하는 방식을 중요한 안전 장치로 봐왔다고 설명한다. 그런데 reasoning model이 더 복잡한 환경에서 도구를 쓰고, 사람과 다른 AI와 상호작용하고, 자기 추론 과정까지 다루기 시작하면서 이 감시의 경계가 흐려진다고 말한다.1
쉽게 말하면 이렇다.
AI가 말만 할 때는 답을 보면 된다.
AI가 일을 하기 시작하면 행동을 봐야 한다.
AI가 자기 행동의 이유까지 조작할 수 있으면, 설명만 봐서는 부족하다.
그래서 검증은 더 중요해진다.
AGI 논쟁보다 중요한 질문
이 글은 AGI 논쟁으로 소비되기 쉽다.
AI가 인간보다 똑똑해졌는가. recursive self-improvement가 시작되는가. 기계가 자기 자신을 개선하는 시대가 오는가.
물론 중요한 질문이다. 하지만 조직과 교육의 관점에서는 더 실무적인 질문이 있다.
더 똑똑한 AI를 사용할수록, 사람은 어떤 방식으로 감독해야 하는가?
AI를 도입하는 조직은 보통 사용법을 먼저 묻는다.
어떤 모델을 쓸까?
어떤 프롬프트가 좋을까?
어떤 업무를 자동화할까?
하지만 이제 질문을 바꿔야 한다.
어떤 업무는 AI가 하면 안 되는가?
어떤 행동은 자동으로 중단되어야 하는가?
어떤 결과는 반드시 사람이 재검토해야 하는가?
어떤 로그가 남아야 사후 설명이 가능한가?
AI 리터러시는 더 이상 도구 사용법이 아니다. 책임과 권한의 경계를 정하는 능력이다.
불신은 비관이 아니라 운영 능력이다
AI를 의심하자는 말은 AI를 쓰지 말자는 말이 아니다.
오히려 반대다. AI를 제대로 쓰려면 의심이 필요하다. 의심은 감정이 아니라 운영 체계다.
좋은 AI 활용은 다음 네 가지를 갖는다.
권한: AI가 어디까지 접근하고 실행할 수 있는가
관찰: AI가 무엇을 읽고 무엇을 했는가
중단: 어떤 신호에서 자동으로 멈추는가
책임: 최종 판단은 누가 설명하는가
이 네 가지가 없으면 똑똑한 AI는 업무를 줄이는 도구가 아니라 설명하기 어려운 행동자가 된다.
Pachocki가 말한 핵심도 여기에 있다. 그는 어느 연구소도 alignment와 monitoring을 충분히 해결해서 계속 최대 속도로 스케일링할 수 있는 상태는 아니라고 본다. 따라서 voluntary slowdown, shared safety bars, 국제적 조정이 필요하다고 말한다.2
이건 기업과 대학에도 그대로 적용된다.
AI 활용을 빠르게 확대하는 것보다 중요한 것은, 확대할 수 있는 조건을 만드는 것이다.
대학은 AI 사용법보다 멈춤의 설계를 가르쳐야 한다
대학 교육에서 AI 리터러시를 말할 때 아직도 많은 논의가 프롬프트에 머문다.
좋은 프롬프트 쓰기.
보고서 초안 만들기.
요약하기.
발표자료 만들기.
필요하지만 충분하지 않다.
앞으로 학생에게 필요한 역량은 AI를 잘 부리는 능력만이 아니다. AI가 만든 결과를 의심하고, 출처를 확인하고, 잘못된 자동화를 멈추고, 자신의 이름으로 제출할 수 있는지 판단하는 능력이다.
대학컨설팅 관점에서 보면 AI 교육은 활용법 교육이 아니라 책임 있는 사용 구조의 설계여야 한다.
강의계획서에는 AI 허용 여부만 적는 것으로 부족하다. 과제의 어느 단계에서 AI를 쓸 수 있는지, 어떤 근거를 남겨야 하는지, 어떤 판단은 학생 본인이 해야 하는지, 어떤 경우에는 사용을 중단해야 하는지를 함께 설계해야 한다.
결론: 더 똑똑한 AI는 더 강한 검증을 요구한다
AI가 똑똑해질수록 인간의 역할은 줄어드는 것처럼 보인다.
하지만 실제로는 인간의 역할이 바뀐다.
사람은 모든 답을 직접 만들지 않아도 된다. 대신 무엇을 믿을지, 어디서 멈출지, 어떤 권한을 줄지, 어떤 결과를 책임질지 결정해야 한다.
더 똑똑한 AI가 필요한 시대일수록, 더 강한 인간의 의심이 필요하다.
그 의심은 불안이 아니다.
AI 시대의 운영 능력이다.