“시험은 통과했지만 진짜 이해는 못 한다”…ChatGPT, 미국 공대 수업에서 B학점 획득한 충격 실험

미국 일리노이대학교 어배너-섐페인(UIUC)의 항공우주공학 수업에 새로운 수강생이 등장했습니다. 바로 ChatGPT입니다. 잠도 자지 않고, 과제에 불평도 하지 않는 이 AI는 시험과 과제를 통과해 B학점(82.24%)을 받으며 인간 학생들과 어깨를 나란히 했습니다.

이번 연구는 오는 6월 열리는 제14회 국제 자동제어 교육 심포지엄(IFAC ACE)에서 발표될 예정이며, AI가 인간의 개입 없이 실제 대학 공학 수업을 어느 수준까지 따라갈 수 있는지를 보여주는 중대한 사례로 주목받고 있습니다.

---

“질문만 복사해 넣었을 뿐… ChatGPT는 이미 대학생 수준”

연구진은 일리노이대 3학년 수준의 항공 제어 시스템 수업(AE 353)에서 총 115개의 과제를 ChatGPT에게 수행하도록 했습니다. 학생들이 실제 사용하는 방식과 유사하게 질문을 그대로 복사해 붙여넣기만 하고, 별도의 설명이나 피드백은 제공하지 않았습니다.

그 결과 ChatGPT는 객관식 과제(90.38%)와 시험(89.72%)에서 인간 평균과 비슷하거나 더 좋은 점수를 얻었습니다. 반면, 프로그래밍 프로젝트에서는 64.34%로 인간 학생 평균(80.99%)보다 낮은 점수를 받았습니다.

“학생이 한 문제를 푸는 데 20분이 걸린다면, ChatGPT는 20초도 안 걸립니다. 하지만 정답률은 항상 믿을 수 있는 수준은 아닙니다.” 연구를 이끈 고쿨 푸투마나일람(Gokul Puthumanaillam) 연구원은 말합니다.

---

어디서 한계가 드러났나?

ChatGPT는 패턴 인식에 강점을 보였지만, 깊은 이해와 실용적 판단력이 요구되는 문제에서는 한계를 드러냈습니다.

프로그래밍 과제에서는 기술적으로는 맞는 코드를 제출했지만, 효율성이 낮고 지나치게 복잡한 구조를 사용하는 경향을 보였습니다. 보고서 작성에서도 실제 이해 없이 지나치게 정교한 용어와 숫자를 나열해 ‘이해한 척’하는 AI의 전형적인 한계가 드러났습니다.

---

세 가지 프롬프트 방식 비교…강의자료 포함 시 성적 향상

연구진은 세 가지 방법으로 ChatGPT의 응답을 유도했습니다.

1. 질문 스크린샷 이미지 업로드
2. 수학 기호를 간단한 텍스트로 변환
3. 관련 강의노트를 함께 제공

그 결과, 강의노트를 포함한 프롬프트가 가장 높은 정답률을 기록했습니다. 하지만 단순한 스크린샷 방식만으로도 수업 전체를 통과할 만큼의 성적은 확보했습니다.

---

교육계의 숙제: “이제 시험은 지능 측정이 아니다”

논문 지도교수인 멜키오르 오르닉(Melkior Ornik)은 “계산기가 수학 교육을 바꿨듯, ChatGPT도 학생들의 학습 도구로 자리 잡을 것이고, 교수들도 이에 맞춰 수업 방식을 바꿔야 한다”고 말했습니다.

그는 “이제 기존 평가 방식은 학생의 진짜 실력을 측정하지 못한다”며, 앞으로는 AI가 쉽게 풀 수 없는 깊이 있는 개념 이해와 실전 판단력을 평가하는 방향으로 교육이 변화해야 한다고 강조했습니다.

---

한 문장 요약:
ChatGPT가 인간의 도움 없이 일리노이대 공대 수업을 수료하며 B학점을 받았지만, 보고서 작성과 프로그래밍 과제에서는 여전히 AI의 한계가 드러났습니다.