AI 수학 튜터, 정답은 빨리 주지만 성적은 별개였다…무작위실험으로 본 효과와 한계
AI 수학 튜터를 썼다고 해서 실제 성적이 자동으로 오르는 것은 아니었다. 지금까지 공개된 무작위실험들을 보면, AI가 붙은 연습 단계에서는 정답 도달 속도와 문제 풀이 점수가 크게 좋아진 사례가 적지 않지만, AI를 뗀 뒤 치른 시험이나 학기 단위 성취도에서는 효과가 작아지거나 사라지는 경우가 반복됐다. 반대로 답을 바로 주지 않고 풀이를 유도하도록 설계한 시스템은 학습 저해를 줄였지만, 그 자체로 뚜렷한 성적 상승까지 보장하지는 못했다.
독자가 구분해 볼 대목은 두 가지다. 첫째, AI가 붙어 있는 상태에서의 성과는 ‘문제를 함께 푼 결과’인지, 학생이 실제로 배운 결과인지가 다르다. 둘째, 교육 현장에서 중요한 지표는 연습문항 정답률보다 AI 없이 보는 별도 시험, 지연된 평가, 학기 성취도 같은 전이효과에 가깝다. 현재 확인되는 근거는 AI 튜터의 효용이 전혀 없다는 쪽도, 곧바로 성적을 끌어올린다는 쪽도 아닌, 설계와 사용 방식에 따라 결과가 크게 달라진다는 쪽에 더 가깝다.
연습 점수는 올랐지만, AI를 빼자 시험은 오히려 떨어진 사례
가장 직접적으로 이 차이를 보여준 것은 2025년 미국국립과학원회보에 실린 고교 수학 무작위실험이다. 연구진은 튀르키예의 한 고등학교 학생 약 1000명을 대상으로 일반 GPT-4 대화형 도구와, 교사 입력을 반영해 답을 바로 주지 않도록 만든 ‘가드레일’형 튜터, 그리고 AI를 쓰지 않는 대조군을 비교했다. 연습 문제를 푸는 동안에는 일반형이 대조군보다 48%, 가드레일형이 127% 높은 점수를 보였다.
하지만 같은 세션 뒤 AI 없이 치른 시험에서는 결과가 갈렸다. 일반형 도구를 쓴 학생들은 대조군보다 시험 점수가 17% 낮았고, 가드레일형은 대조군과 통계적으로 구분되지 않았다. 연구진은 학생들이 일반형 도구에서 답을 받아 적는 식으로 ‘지팡이’처럼 쓰는 경향이 강했고, 가드레일형에서는 질문과 힌트 중심의 상호작용이 더 많았다고 봤다. 중요한 것은 이 연구에서 가장 크게 개선된 것은 ‘AI가 붙어 있을 때의 수행’이었지, AI가 빠진 뒤의 독립 수행이 아니었다는 점이다.
이 연구는 전이효과도 따로 봤다. AI를 쓰는 동안 약한 학생들의 점수 분산이 줄어드는 모습은 있었지만, AI를 제거한 시험에서는 그 격차 축소가 이어지지 않았다. 즉 AI가 실시간 보조자로 작동할 때 나타난 평준화 효과가 학생 고유의 학습으로 그대로 넘어갔다고 보기는 어려웠다.
정답 대신 힌트를 주면 해를 줄일 수는 있었지만, 효과는 대체로 작거나 제한적
AI 튜터의 긍정적 결과가 전혀 없는 것은 아니다. 2024년 PLOS ONE에 실린 수학 학습 실험에서는 274명을 무작위 배정해 무힌트, 인간 튜터가 작성한 힌트, ChatGPT가 만든 힌트를 비교했다. 이 연구에서는 ChatGPT 힌트 조건만이 무힌트 대조군보다 통계적으로 유의한 학습 향상을 보였고, ChatGPT 힌트와 인간 튜터 힌트 사이의 차이는 유의하지 않았다. 적어도 짧은 문제풀이 환경에서는 생성형 AI가 인간이 미리 작성한 힌트와 비슷한 수준의 보조를 할 가능성을 보여준 셈이다.
다만 이 결과도 그대로 일반화하기는 어렵다. 같은 논문은 ChatGPT가 만든 힌트가 품질 점검에서 32%의 문제에서 실패했다고 밝혔다. 연구진은 반복 생성 뒤 일치하는 답을 고르는 방식으로 오류를 줄일 수 있다고 했지만, 이는 수업 현장에서 별도 통제와 검수 장치가 필요하다는 뜻이기도 하다. ‘AI가 힌트를 줄 수 있다’는 것과 ‘학교 현장에서 안전하게 바로 쓸 수 있다’는 것은 다른 주장이다.
현장 배치에 가까운 최근 근거도 비슷한 결론을 내놓는다. 2026년 공개된 NBER 작업논문에서 연구진은 미국 테네시주 18개 중학교의 보충 수학 수업에 칸아카데미의 AI 튜터 칸미고를 2년간 무작위 배정했다. 이 도구는 답을 대신 주기보다 코치형으로 설계됐지만, 성취도 상승은 학기당 1.3 퍼센타일포인트, 1년 기준 약 0.06~0.08 표준편차로 크지 않았다. 연구진은 이 정도 상승이 AI 없는 칸아카데미 연습 효과와 비슷한 수준이라고 봤다.
왜 효과가 작았는지도 함께 드러났다. 학생의 96%가 한 번은 칸미고를 써봤지만, 중앙값 기준으로 실제 연습일의 3분의 1에서만 메시지를 보냈고, 오답을 낸 세션에서 튜터에 말을 건 비율은 17%에 그쳤다. ‘접근권’을 준 것만으로는 학습효과가 커지지 않고, 학생이 막히는 순간에 실질적 대화를 하도록 만드는 수업 구조가 함께 있어야 한다는 뜻이다.
예외적 성과도 있었지만, 추가 학습시간·맥락 차이를 함께 봐야 한다
성과가 비교적 크게 나온 사례도 있다. 2024년 공개된 가나 실험에서는 약 500명의 학생에게 주 1시간씩 휴대전화를 통해 AI 수학 튜터를 사용하게 했고, 대조군보다 수학 성장점수가 유의하게 높았으며 효과크기는 0.36으로 보고됐다. 연구진은 이를 비용 대비 확장 가능성이 있는 개입으로 해석했다.
그러나 이 결과는 기존 수업 위에 추가 학습시간을 얹은 개입이라는 점을 함께 봐야 한다. 학생들은 정상 수업을 그대로 받고 별도로 AI 튜터 시간을 더 썼다. 따라서 ‘교실 안에서 AI 튜터가 기존 수업을 대체해도 같은 효과가 나는가’와 ‘추가 학습기회를 준 덕분에 오른 것인가’는 아직 분리해서 봐야 한다. 연구 자체도 1년 차의 예비 평가라고 밝혀 장기 지속성 판단에는 한계가 있다.
지금까지의 근거를 한 문장으로 요약하면 이렇다. AI 수학 튜터는 즉각적 수행 보조에는 꽤 강하지만, 독립 시험 성적 개선은 작거나 불안정하며, 답을 바로 주는 설계일수록 학습을 해칠 위험이 커진다. 반대로 힌트 중심, 오류 억제, 교사 설계 반영, 충분한 사용 유도 같은 조건이 붙을수록 해를 줄이고 일부 성과를 낼 가능성은 커진다.
한국 적용성은 ‘도입 여부’보다 ‘어떻게 쓰게 할 것인가’가 변수
한국 학교에 바로 대입하면 쟁점은 더 분명해진다. 교육부는 2024년 11월 29일 2025년부터 초3·4, 중1, 고1에 영어·수학·정보 교과 중심으로 AI 디지털교과서를 활용한다고 밝혔고, 2026년 업무계획에서는 학교가 다양한 ‘AI 교육자료’를 자율적으로 선택·활용하도록 지원을 넓히겠다고 했다. 즉 한국에서도 수학 학습에 AI 보조도구가 실제 수업 안으로 들어오는 환경은 이미 제도적으로 열려 있다.
문제는 도입 사실이 학습효과를 증명하지는 않는다는 점이다. 해외 실험을 기준으로 보면 한국 학교가 먼저 확인해야 할 것은 학생이 AI를 통해 정답을 더 빨리 맞히는지보다, AI 없이 치르는 지필평가나 수행평가에서 성과가 유지되는지다. 또 하위권 학생에게만 단기적으로 유리한지, 교사가 개입했을 때와 아닐 때 차이가 얼마나 나는지, 오답 설명의 정확성과 한국 교육과정 적합성이 어떤지도 따로 봐야 한다.
정책적으로는 세 가지가 핵심으로 보인다. 첫째, 답안 제시형보다 힌트·질문 유도형 설계가 우선돼야 한다. 둘째, 사용 로그만이 아니라 AI 제거 후 평가를 포함한 검증체계가 필요하다. 셋째, 교사가 언제 개입하고 언제 AI를 끊을지에 대한 수업 규칙이 없으면, 보조도구가 학습기회가 아니라 우회로가 될 수 있다. UNESCO도 2023년 생성형 AI 교육 가이드에서 인간 중심, 연령 적합성, 개인정보 보호, 교육적 검증을 함께 요구한 바 있다.
결국 현재까지 검증 가능한 결론은 단순하다. AI 튜터는 ‘잘 설명하는 계산기’에 가까울 때가 많고, 그 자체가 학습효과를 보장하지는 않는다. 실제 성적 향상을 말하려면 최소한 AI 없는 시험, 일정 시간이 지난 뒤의 재평가, 비교집단이 있는 무작위실험에서 이득이 확인돼야 한다. 지금 공개된 근거만 놓고 보면 AI 수학 튜터의 가장 확실한 효용은 정답 접근의 편의성이고, 가장 큰 미해결 과제는 그 편의가 실제 배움으로 옮겨가는지다.
자료: UNESCO, Guidance for Generative AI in Education and Research(2023); Hamsa Bastani 외, Generative AI Without Guardrails Can Harm Learning: Evidence from High School Mathematics, Proceedings of the National Academy of Sciences(2025); Zachary A. Pardos·Shreya Bhandari, ChatGPT-generated help produces learning gains equivalent to human tutor-authored help on mathematics skills, PLOS ONE(2024-05-24); Philip Oreopoulos·Nina Low, One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment, NBER Working Paper 35620(2026-08); Owen Henkel 외, Effective and Scalable Math Support: Experimental Evidence on the Impact of an AI-Math Tutor in Ghana, arXiv(2024-05); 교육부, 2025년, 교실에서 마주할 인공지능(AI) 디지털교과서, 모두를 위한 맞춤 교육을 실현(2024-11-29); 교육부, 2026년 교육부 주요업무 추진계획(2026)