AI가 논문을 쏟아낼수록, 대학은 무엇을 성과로 셀 것인가
AI가 연구 결과를 빠르게 만들어내기 시작하면 대학의 연구 생산성은 높아지는 것일까.
논문이 늘어난다는 의미에서는 그럴 수 있다. 하지만 결과가 더 많이 생산되는 것과, 우리가 더 많이 알게 되는 것은 같은 이야기가 아니다.
최근 AI가 생성한 수학 연구 결과를 둘러싼 논쟁을 읽으며 대학의 성과지표를 떠올렸다. 논문 편수와 인용 수처럼 연구활동을 간접적으로 보여주던 지표들은, 결과물을 만드는 비용이 크게 낮아지는 환경에서도 같은 의미를 유지할 수 있을까.
수학 결과를 공개하는 기업, 이해를 묻는 연구자
OpenAI는 10월 6일 내부 연구 모델이 만든 수학 결과들을 GitHub 저장소에 공개했다고 발표했다. 일부 증명에 대해서는 컴퓨터로 확인할 수 있도록 Lean 형식화도 제공한다고 설명했다.
10월 15일에는 추가 발표가 나왔다. AI가 만든 결과를 수학자들이 검토하고 이해하며 후속 연구로 발전시킬 수 있도록, Simons Foundation의 새 사업에 500만 달러를 기여하겠다는 내용이었다. 연구자들에게 모델과 연산 자원도 제공한다고 밝혔다.
같은 날 Terence Tao의 블로그에는 이와 대조되는 글이 실렸다. 이론물리학자 Rikab Gambhir의 게스트 기고, 「Why are we even doing all this?」다. Tao 자신의 집필 글은 아니다.
이 글은 풍자다. 읽기 어려운 결과를 대량으로 만들어 놓고, 그 정확성과 의미를 확인하는 수고는 연구 공동체에 넘기는 상황을 날카롭게 비꼰다. 과학의 목적을 잠재적으로 참일 수 있는 사실의 저장량을 늘리는 일로 축소해도 되느냐는 질문이다.
따라서 이 기고를 AI 연구 결과가 모두 틀렸다는 실증적 근거로 읽어서는 안 된다. 반대로 기업의 발표를 모든 결과의 신규성과 중요성이 독립적으로 검증됐다는 뜻으로 받아들여서도 안 된다.
두 자료를 함께 읽으며 내가 주목한 것은 결과 생산과 지식 형성 사이에 필요한 작업이었다.
결과를 내놓는 일 다음에는 정확성을 확인하고, 기존 연구와의 관계를 파악하고, 다른 연구자가 이해하고 사용할 수 있도록 설명하는 일이 남는다.
논문 한 편은 무엇을 대신 보여주고 있었나
논문 편수는 연구성과를 온전히 설명하지 못한다. 그럼에도 성과관리에서 널리 쓰이는 이유가 있다. 확인하기 쉽고, 일정한 기준에 따라 집계할 수 있기 때문이다.
논문 한 편에는 문제 설정, 자료 수집, 분석, 검토, 집필 같은 연구활동이 들어 있다고 기대한다. 편수는 그 활동과 기여를 간접적으로 보여주는 지표다.
그런데 AI가 이 과정의 일부를 빠르게 수행할 수 있게 되면 지표를 해석하는 조건도 달라진다.
같은 편수 증가라도 의미는 다를 수 있다. 이전에는 시도하기 어려웠던 연구가 가능해진 것일 수도 있고, 비슷한 결과를 잘게 나누어 더 많이 작성한 것일 수도 있다. 초안 생산만 빨라졌는데 검증과 수정은 뒤처지고 있을 수도 있다.
AI를 썼다는 이유만으로 연구의 가치를 낮게 평가할 필요는 없다. 다만 산출물의 수가 늘었다는 사실만으로 연구역량이나 지식의 기여가 같은 만큼 증가했다고 보기는 더 어려워진다.
생성 비용이 낮아지면 검토 부담을 봐야 한다
연구 결과가 빠르게 늘어날 때 함께 살펴봐야 할 것은 그것을 검토하는 데 필요한 자원이다.
새로운 주장인지 확인하려면 선행연구를 살펴야 한다. 증명이나 분석이 적절한지 판단하려면 해당 분야의 전문성이 필요하다. 다른 연구에 활용하려면 전제와 한계를 이해해야 한다.
이 작업이 충분히 이루어지지 않으면 결과는 공개되어 있어도 활용하기 어렵다.
OpenAI가 결과 공개와 별도로 검토·이해·후속 연구를 위한 지원을 발표한 점도 이 구분을 생각하게 한다. 물론 자금 지원만으로 검증의 독립성이나 모든 결과의 신뢰성이 확보되는 것은 아니다. 하지만 결과 생성 이후에 별도의 시간과 전문성이 필요하다는 점은 분명히 드러난다.
대학의 연구지원도 비슷한 질문을 해야 한다고 생각한다. AI 사용권을 제공하는 것에서 그칠지, 재현과 검증, 데이터 정리, 연구 소프트웨어 관리, 설명과 공유를 위한 자원까지 지원할지의 문제다.
새로운 결과를 만드는 활동만 보상한다면, 이미 나온 결과를 확인하고 정리하는 일은 계속 뒤로 밀릴 수 있다.
대학의 성과표에는 무엇을 더 담아야 할까
논문 편수를 당장 없애자는 이야기는 아니다. 문제는 하나의 지표에 너무 많은 의미를 맡기는 것이다.
대학의 연구성과를 검토할 때는 산출량과 함께 다음과 같은 증거를 볼 필요가 있다.
먼저, 검토할 수 있는 상태인가. 연구의 전제와 방법이 설명되어 있고, 분야 특성에 맞게 자료·코드·증명이나 분석 과정에 접근할 수 있는지 확인해야 한다. 공개가 어려운 자료라면 제한 사유와 대안적인 검토 절차가 필요하다.
다음으로, 기여를 설명할 수 있는가. 무엇을 새롭게 밝혔는지뿐 아니라 무엇을 아직 밝히지 못했는지, 기존 연구와 어디에서 달라지는지를 설명할 수 있어야 한다. AI가 작성한 설명을 제출하는 것과 연구자가 그 판단을 이해하는 것은 구분해야 한다.
또, 다른 사람이 이어서 사용할 수 있는가. 후속 연구, 교육자료, 방법론 개선 등으로 활용될 수 있도록 정리되어 있는지 살펴볼 수 있다. 여기서 활용을 단기 사업화로만 좁혀서는 안 된다. 기초연구의 기여는 오래 지나 드러나기도 한다.
이 항목들을 다시 단순한 건수 지표로 바꾸는 데에는 주의가 필요하다. 코드 공개 건수나 설명회 개최 횟수만 세면 형식적인 실적을 늘리는 문제가 반복될 수 있다. 분야별 특성을 고려해 실제 사례와 검토 기록을 함께 보는 방식이 필요하다.
대학원 교육에서도 결과물만으로는 부족하다
연구성과의 변화는 대학원 교육과도 연결된다.
AI가 문헌을 정리하고 분석 코드를 작성하며 논문 초안을 만드는 환경에서는, 완성된 원고만으로 학생이 무엇을 이해하고 수행했는지 파악하기 어려울 수 있다.
그렇다고 AI를 쓰지 않고 모든 작업을 직접 해야만 배운다고 단정할 수는 없다. 중요한 것은 학생이 도구를 사용한 뒤에도 자신의 연구를 설명하고 판단할 수 있느냐다.
왜 이 문제를 골랐는지, 어떤 가정을 두었는지, 다른 방법 대신 이 방법을 선택한 이유가 무엇인지 물을 수 있어야 한다. 오류를 발견했을 때 어디를 확인하고 어떻게 수정할지도 설명할 수 있어야 한다.
따라서 평가에는 원고뿐 아니라 분석 기록, 대안 비교, 수정 과정, 구두 설명을 함께 활용할 수 있다. 연구자가 결과에 도달하는 과정에서 어떤 판단을 했는지 확인하는 것이다.
AI 활용교육도 이 방향으로 넓어져야 한다. 더 좋은 초안을 만드는 방법에 더해, 그 초안을 받아들여도 되는지 판단하는 경험이 필요하다.
컨설팅 보고서와 사업 실적도 다르지 않다
이 문제를 논문에만 한정하기는 어렵다.
컨설팅에서는 보고서 분량이 늘어도 고객의 의사결정이 나아지지 않을 수 있다. 대학의 정책사업에서도 프로그램과 결과보고서가 늘어났지만 교육과정이나 학생지원 방식은 그대로일 수 있다.
AI는 이런 산출물을 더 빠르게 만들 수 있다. 기존 성과관리 방식이 산출량에 치우쳐 있다면, AI 도입이 그 편향을 강화할 가능성도 생각해야 한다.
대학컨설팅에서 내가 더 확인하고 싶은 것은 보고서 이후의 변화다. 분석 결과가 다음 계획과 예산에 반영됐는지, 교육과정이나 운영 절차가 실제로 수정됐는지, 담당자가 제안의 근거와 한계를 설명할 수 있는지를 봐야 한다.
보고서 작성시간이 줄어든 것은 생산성의 개선이다. 그러나 그것을 사업의 효과나 조직의 학습과 바로 같은 것으로 취급할 수는 없다.
더 많이 생산할 수 있을 때, 무엇을 선택할 것인가
Gambhir의 풍자를 읽으며 불편했던 이유는 AI에 대한 비판 때문만은 아니다. 결과물을 축적하는 일이 연구의 목적처럼 취급될 수 있다는 지적이 기존 성과관리에도 해당하기 때문이다.
AI가 그 문제를 처음 만든 것은 아니다. 다만 산출량을 빠르게 늘릴 수 있게 되면서, 우리가 무엇을 성과로 인정해왔는지를 다시 묻게 한다.
대학은 AI를 통해 연구의 범위를 넓힐 수 있다. 더 많은 가설을 시험하고, 복잡한 분석을 시도하고, 연구자의 반복 작업을 줄일 수도 있다. 그 가능성을 활용하면서 결과의 검토와 설명에 필요한 자원도 함께 마련해야 한다.
다음 성과보고서에서 논문 편수가 늘었다는 수치를 본다면, 그 뒤를 조금 더 살펴보고 싶다.
무엇이 새롭게 확인되었는지, 누가 검토할 수 있는지, 어떤 후속 질문이 가능해졌는지. 그리고 그 성과를 만든 연구자와 학생에게 어떤 이해와 역량이 남았는지.
AI가 더 많은 논문을 만들 수 있게 될수록, 대학은 그 질문에 답할 준비를 해야 한다.