Digital Garden

AI가 과제를 완성했다. 학습자는 무엇을 배웠을까

#AI #AX #AI교육 #HRD #교육평가 #교육공학

AI를 활용한 실습에서 정돈된 보고서와 작동하는 코드가 나온다. 참여자는 과제를 제출하고 교육을 수료한다.

그런데 결과물에 관해 몇 가지를 물으면 평가가 달라질 수 있다.

왜 이 자료를 근거로 선택했는가. 조건이 바뀌면 어느 부분을 수정해야 하는가. 잘못된 결과가 나왔을 때 어디부터 확인해야 하는가.

이 질문에도 답할 수 있어야 한다면, 결과물만으로는 확인하기 어려운 것이 남는다.

AI를 활용하는 교육에서 이제 더 분명하게 구분해야 할 것은 도구의 지원을 받아 수행한 결과와 학습자에게 형성된 역량이다. 두 가지는 함께 좋아질 수도 있지만, 언제나 같은 방향으로 움직이지는 않는다.

최근 연구들을 함께 읽으면 이 차이가 더 선명해진다.

과제를 끝낸 뒤에 드러난 이해의 차이

Anthropic의 Judy Hanwen Shen과 Alex Tamkin은 개발자들이 새로운 기술을 배우는 과정에서 AI의 영향을 살펴봤다. 2026년 1월 공개된 연구다.

참여자는 주로 주니어인 소프트웨어 엔지니어 52명이었다. 모두 일정한 Python 사용 경험이 있었지만, 실험에서 사용하는 비동기 프로그래밍 라이브러리 Trio는 처음이었다.

참여자들은 AI 지원 여부에 따라 나뉘어 과제를 수행한 뒤, AI 없이 이해도 평가를 받았다.

연구진이 공개한 설명에 따르면 AI 사용 집단의 퀴즈 평균은 50%, 비교 집단은 67%였다. 가장 큰 격차는 오류를 찾아 원인을 파악하는 디버깅 문항에서 나타났다.

AI 사용 집단은 과제를 평균적으로 조금 더 빨리 끝냈지만, 완료시간의 차이는 통계적으로 유의하지 않았다. 따라서 이 연구를 “AI 덕분에 빨라졌지만 덜 배웠다”라고 요약하면 속도에 관한 결론을 지나치게 강하게 만드는 셈이다.

보다 정확한 해석은 이렇다.

이 실험에서는 AI를 사용할 수 있었던 집단의 과제 직후 이해도가 더 낮았다. 과제 수행 과정에 AI가 참여했다는 사실만으로 학습자의 이해까지 확보되지는 않았다.

물론 특정 프로그래밍 과제를 다룬 작은 실험이다. 장기적인 숙련이나 다른 직무에 그대로 일반화할 수는 없다. 다만 결과물을 제출받은 다음 무엇을 더 확인해야 하는지 생각하게 한다.

‘왜?’라고 물으면 해결될까

같은 AI 집단 안에서도 사용 방식에 따른 차이가 관찰됐다.

연구진은 코드를 생성하는 데 주로 의존한 경우와 개념을 질문하거나 생성된 코드의 설명을 요청한 경우 등을 구분했다. 설명과 이해에 관여한 사용 패턴에서는 상대적으로 높은 평가 점수가 나타났다.

여기서 “마지막에 왜라고 물으면 학습이 보장된다”는 교육 요령을 만들고 싶어질 수 있다. 그러나 이 해석도 조심해야 한다.

AI 사용 여부는 무작위 배정했지만, 사용 방식별 집단은 참여자의 행동을 관찰해 사후에 분류한 것이다. 원래 이해나 학습 동기가 높은 사람이 설명을 더 요청했을 가능성 등을 배제하기 어렵다. 일부 유형은 인원도 매우 적었다.

따라서 사용 방식별 점수를 보편적인 효과처럼 제시하기보다, 다음과 같은 설계 질문으로 가져오는 편이 적절하다.

학습자가 결과를 받아들이기 전에 자신의 생각을 만들어볼 기회가 있는가. 설명을 읽는 데 그치지 않고 다른 사례에 적용하는가. 틀린 부분을 발견하고 수정하는 경험이 포함되어 있는가.

대화창에 질문을 한 번 더 입력하는 것과, 실제로 이해를 점검하는 것은 다를 수 있다.

10월의 대학 연구는 무엇을 더 보여줬나

2026년 10월 공개된 메릴랜드대 연구진의 워킹페이퍼는 짧은 실험실 과제를 넘어 실제 대학 수업을 살펴봤다.

학부생 2,379명과 교수자 30명이 참여했고, 교수자 단위로 강좌별 AI 학습도우미에 접근할 수 있는 조건을 배정했다. 도구는 GPT-4o를 기반으로 수업자료를 검색·참조하는 방식이었다.

같은 과목의 분반끼리 비교한 하위표본에서는 AI 도우미 접근 조건의 기말 성적이 비교 조건보다 낮았다. 연구진은 그 차이를 0.37 표준편차로 보고했다. 기존 학습관리시스템에서 기록된 참여도 감소했다.

그렇다고 “AI 튜터를 사용한 대학생 2,379명의 성적이 모두 떨어졌다”고 읽어서는 안 된다.

전체 표본의 성적 분석에서는 통계적으로 뚜렷한 부정적 효과가 확인되지 않았고, 더 명확한 차이는 같은 과목을 비교한 하위표본에서 나타났다. 접근 권한을 받은 학생 중 실제로 해당 도구를 한 번이라도 사용한 비율은 약 15%였다. 양쪽 조건 모두 다른 AI 도구를 사용할 수 있었다.

즉, 이 연구가 추정한 것은 다른 AI도 이용 가능한 수업 환경에서 특정 도우미를 제공하는 개입의 효과다. 실제 도구 사용만의 효과와 동일하게 취급하기 어렵다. 학습관리시스템 활동의 감소가 성적 하락을 일으켰는지도 직접 입증하지 않았다.

그럼에도 대학의 AI 도입에서 살펴볼 지점이 있다.

도구를 추가한 뒤 학생이 무엇을 더 하게 됐는지만 아니라, 무엇을 덜 하게 됐는지도 확인해야 한다. 원문 읽기, 직접 풀어보기, 교수자에게 질문하기 같은 활동이 다른 방식으로 대체되고 있는지 살펴야 한다.

학습도우미의 답변 품질과 실제 수업에서의 교육 효과는 별도로 평가할 필요가 있다.

반대로 AI와 함께 더 배운 연구도 있다

AI가 학습을 약화한다는 결과만 있는 것은 아니다.

Zara Contractor와 Germán Reyes의 「Experimental Evidence on the Learning Impact of Generative AI」는 2026년 7월 처음 공개됐고, 10월 4일 개정됐다.

대학생 211명이 낯선 주제를 공부하고 에세이를 작성하는 대면 무작위 실험이다. 한 집단은 생성형 AI를 사용할 수 있었고, 다른 집단은 전통적인 자료만 사용할 수 있었다. 학습 직후와 약 일주일 뒤에 지원 없이 평가를 받았다.

연구진은 AI 접근이 시험 점수를 높였고, 그보다 작은 이점이 일주일 뒤에도 남았다고 보고했다. AI를 설명과 이해를 돕는 용도로 활용한 경우에는 이점이 유지되는 반면, 글쓰기를 맡기는 방식에서는 약화되는 패턴도 제시했다.

이 역시 프리프린트이며, 사용 방식에 따른 분석을 각각의 방식에 대한 무작위 실험처럼 읽어서는 안 된다. 하지만 AI 사용이 학습을 반드시 방해한다는 주장에는 중요한 반대 근거다.

이 연구에서 특히 참고할 만한 것은 평가의 구분이다.

AI를 사용할 수 있는 상태에서 쓴 에세이는 제출된 수행 결과를 보여준다. 지원 없이 치른 지식 평가와 일주일 뒤 과제는 학습자에게 무엇이 남았는지 확인한다.

같은 사람을 평가하더라도 도움을 받으며 할 수 있는 일과 도움을 거둔 뒤 할 수 있는 일을 따로 관찰한 것이다.

연구 결과가 다른 이유까지 교육 설계에 넣어야 한다

AI와 학습 효과를 다룬 세 연구 비교: Anthropic 개발자 52명 실험, 메릴랜드대 학부생 2,379명 수업 연구, 대학생 211명 에세이 실험의 참여자, 학습 상황, 평가, 결과

세 연구를 한 줄로 묶어 AI의 교육 효과를 판정하기는 어렵다.

새로운 프로그래밍 기술을 익히는 짧은 과제, 한 학기 수업에 도우미를 추가하는 개입, 정해진 시간에 주제를 공부하고 글을 쓰는 실험은 서로 다르다. 참여자, 도구, 학습시간과 평가 방식도 다르다.

그 차이를 지우고 “AI는 학습에 좋다” 또는 “AI는 생각을 빼앗는다”고 결론 내리면 교육 설계에 필요한 정보가 사라진다.

내가 이 연구들에서 가져오고 싶은 것은 효과에 대한 단일 판정이 아니다.

AI를 쓰는 동안 학습자가 어떤 활동을 했으며, 그 이후 무엇을 할 수 있게 됐는지 확인해야 한다는 평가 원칙이다.

이 원칙은 대학 수업뿐 아니라 기업의 AX 교육에도 적용할 수 있다.

AX 실습은 세 가지를 구분해 평가하면 어떨까

여기서부터는 연구 결과를 바탕으로 한 나의 교육 설계 제안이다. 아래 방식 전체가 실험으로 검증된 모형이라는 뜻은 아니다.

AX 실습 평가 3단계: 결과물을 실제로 쓸 수 있는가, 중요한 판단을 설명할 수 있는가, 조건이 바뀌어도 대응할 수 있는가

첫째, 결과물은 실제로 쓸 수 있는가

보고서라면 근거와 수치가 적절한지, 자동화 도구라면 의도한 조건에서 작동하는지 확인한다. 개인정보나 권한 문제도 살펴야 한다.

AI가 참여했다는 이유로 결과물의 품질을 낮게 평가할 필요는 없다. 현업에서는 도구와 협업해 사용할 수 있는 결과를 만드는 능력도 중요하다.

다만 이 평가는 학습자 개인의 이해를 모두 설명하지는 않는다.

둘째, 중요한 판단을 설명할 수 있는가

AI의 제안 중 무엇을 채택하고 무엇을 바꿨는지, 왜 그렇게 했는지 확인한다.

모든 대화를 제출하게 할 필요는 없다. 핵심 수치의 선택, 근거가 없는 주장에 대한 처리, 자동화를 멈춘 이유처럼 중요한 판단 몇 가지를 고를 수 있다.

“AI가 그렇게 답했다”를 넘어 자신의 선택을 설명할 수 있는지 보는 것이다.

셋째, 조건이 바뀌어도 대응할 수 있는가

실습에서 사용하지 않은 자료를 주거나, 잘못된 수치를 섞거나, 요청 조건을 바꿔본다.

학습자가 변경할 부분을 찾고 필요한 확인 절차를 설명할 수 있는지 본다. 같은 결과물을 다시 만드는 것보다 배운 것을 다른 상황에 적용하는 능력에 가깝다.

이 세 가지를 구분하면 교육 결과를 더 정확하게 해석할 수 있다. 결과물은 좋지만 설명이 부족할 수도 있고, 이해는 충분하지만 구현에 도움이 필요한 사람도 있을 수 있다. 이후의 피드백도 달라져야 한다.

마지막 10분, AI를 끄는 것만으로 충분하지 않다

실습 마지막에 AI 없이 설명하거나 오류를 찾게 하는 방식은 시도해볼 만하다. 다만 AI를 사용할 수 없다는 조건 자체가 좋은 평가를 보장하지는 않는다.

교육 목표가 업무 판단이라면 명령어나 문법을 외우는 시험보다 결과의 위험을 알아보고 확인 경로를 설명하는 과제가 적합할 수 있다. 반대로 기본 개념을 이해했는지 보려면 외부 지원을 제한한 짧은 설명이 도움이 될 수 있다.

AI와 함께 수행하는 평가도 여전히 필요하다. 실제 업무에서 AI를 쓰게 될 사람에게 도구 없이 할 수 있는 일만 묻는 것도 충분하지 않기 때문이다.

따라서 한 가지 평가로 모든 것을 판단하기보다 목적을 나누는 편이 낫다.

AI와 함께 얼마나 적절하게 수행하는지, 지원 없이 어떤 핵심 판단을 할 수 있는지, 시간이 지난 뒤에도 다른 상황에 적용할 수 있는지를 조합해 확인하는 것이다.

교육 만족도 다음에 확인할 것

수업이나 연수가 끝난 직후의 만족도는 유용한 정보다. 하지만 사용하기 편하고 답변이 빠르다는 경험이 학습의 지속성을 입증하지는 않는다.

기업 교육이라면 이후 실제 과업에서 근거를 확인하고 예외를 처리하는지 볼 수 있다. 대학이라면 다음 과제나 일정 시간이 지난 평가에서 배운 개념을 활용하는지 확인할 수 있다.

모든 과정에 장기 추적조사를 요구할 필요는 없다. 다만 짧은 교육에서 확인한 성과를 장기 역량으로 확대해 말하지 않는 태도는 필요하다.

작은 실습이라도 결과물, 설명, 새로운 사례 하나를 함께 살펴보면 수료 여부만 확인할 때보다 더 많은 정보를 얻을 수 있다.

AI가 만든 성과와 사람에게 남은 역량

AI는 학습자의 수행을 도울 수 있다. 어려운 개념을 설명하고, 질문할 기회를 넓히고, 피드백을 제공할 수 있다. 최근 연구에는 그런 가능성을 보여주는 결과도 있다.

동시에 결과물을 만드는 과정에서 학습자가 직접 해야 할 사고까지 넘겨버릴 위험도 있다. 도구를 제공하는 것만으로 학습이 개선되지 않을 수 있다는 현장 연구도 나왔다.

그래서 AI 교육의 성과를 묻는 질문이 조금 더 구체적이어야 한다고 생각한다.

무엇을 완성했는가에 더해, 그 결과를 얼마나 이해하는가. 오류가 생기면 어디를 확인하는가. 조건이 달라져도 다시 판단할 수 있는가.

AI와 함께 만든 결과의 품질과 사람에게 남은 역량을 따로 확인하는 것.

AI가 과제를 더 잘 완성할수록, 교육은 그 두 가지를 함께 볼 준비가 필요하다.

참고자료