학생들이 챗GPT로 써낸 과제를 채점하며

대학교 교양수업 수업조교로서 과제를 채점하면서, 챗GPT에서 나온 글을 많이 읽어볼 수 있었다.

 

챗GPT를 사용했다는 사실 자체를 혼내고 싶지는 않았다. 챗GPT를 썼으니까 문제라는 생각을 내려놓고, 정말 그 글에 문제가 있는 것인지 생각해보았다. 그런데 정말 문제가 있다고 느꼈다. 챗GPT가 뱉어낸 글들이 이 과제의 맥락에서는 쓸모없었다. 왜 쓸모없는지에 대해 나도 많이 생각해봐야 했다. 이는 곧 무엇을 평가와 피드백의 중점으로 두어야 하는지, 그리고 좋은 글이란 무엇인지의 문제다. (쓰면서 생각하려고 이 글을 쓴다.)

 

챗GPT 시대 이전 과제물의 문제는 주로 더 명료하게 써야 하거나 내용 공부가 더 필요하다는 데 있었다. 반면 챗GPT로 써낸 글은 대체로 명료하고 내용적으로 적절하다. 그런데 두루뭉술하고 영혼없다.

 

이 과제에서는 자신이 생각하는 이상적 리더와 그 이유를 써야 하는데, 챗GPT로 써낸 답변은 '빌 게이츠는 훌륭한 리더다, 왜냐하면 첫째 열정과 집념, 둘째 사회적 책임, 셋째 세계적 문제 해결' 같은 식으로 일목요연하다. 

 

학생이 어설프게나마 자신의 표현으로 동일한 내용을 썼다면, 최소한 학생 머릿속에 저런 판단을 도출한 근거가 있으리라고 추정했을 것이다. 빌 게이츠의 어떤 업적을 생각하고, 그것이 나타내는 리더십 자질을 생각하고, 그 리더십 자질이 중요한 리더십 자질인지 생각해보고, 그 자질을 보여주는 업적을 다시 생각해보는 과정이 있었을 것이라고 여겨지기 때문에 과제를 의도대로 수행한 것이라고 판단할 것이다. 잠정적이고 어설프지만 본인의 의견이 무엇인지 생각해보았기 때문에, 나중에 그 관점을 지지하거나 반박하는 내용을 접했을 때 유의미한 학습이 발생할 것이다. 그러나 유창한 AI체로 쓰여 있으니 그런 내적 과정이 없었을 것이라고 추정하게 되고, 과제의 의도가 실현되지 않았다고 판단하게 된다. 

 

또한 리더십에 대해 글을 찾아 읽는 독자의 입장에서, 저런 글을 읽게 되면 실망할 것이다. '아하, 어떤 자질이 정말 중요하구나, 그것을 정말 빌 게이츠가 가지고 있구나'라는 판단을 얻을 수 없다. 이런 글은 이 주제에 대해 대충 어떤 말들이 세상에 돌아다니는지 알려줄 수 있지만, 그래서 이 주제에 대해 어떻게 생각해야 할지에 대한 판단을 제시하지는 못한다. '그래서 무엇이 중요하지?'라는 의문을 남긴다. 이것이 'AI스러운' 글의 문제인 것 같다. AI스러운 글은 '이런 요소도 있고 저런 요소도 있어요, 이런 관점도 있고 저런 관점도 있어요'라고 늘어놓는다. 하지만 무엇이 맞고 중요한지에 대한 최종적인 판단은 통계적 언어 모델이 생성해줄 수 없다. 어떤 판단을 하는 것은 유독 어떤 논변이나 사실에 영향을 받아서 발생하며, 이는 사람 안에서 일어나는 일이고, 사람에게서 사람에게 전달될 수 있는 것이다. 우리는 사람의 판단이 궁금하기 때문에 글을 찾아볼 때가 많다. (그렇지 않은 경우에는 챗GPT의 글도 유용하다.)

 

학생들은 자기 생각을 쓰라, 자기 표현으로 쓰라는 말을 많이 듣는데, 'I think'를 덧붙이거나 문장을 패러프레이징한다고 해서 그 교육적 의도가 실현되는 것은 아니다. 'I think'라고 써 놓고 AI스러운 글을 쓸 수도 있다. 논술 시험처럼 무슨 말이든 형식에 맞추어 써내야 할 때 학생들은 AI처럼 글을 쓸 때가 많을 것이다. 내 생각에 윤리 교과서도 여러 입장을 소개할 뿐 어떤 판단을 제시하지는 않기 때문에 AI스럽다. 윤리적 문제에 대해서는 실제 사람들의 판단을 들어봐야 나도 판단할 수 있기 때문에, 교과서를 읽고 학생들이 어떤 판단을 하기는 어렵다고 생각한다. 

 

이상의 글을 쓰면서 내 생각을 정리하게 되었다. 써 놓고 나니 별 거 없는데, 결론은 본인의 판단을 하라고 학생들에게 말해줘야겠다는 것이다. 

 

아래는 내가 쓴 코멘트.

 

1. (챗GPT 사용)

A very clear explanation of why he is a good leader, specifying what leadership qualities are important and how he exhibits them. This is a good starting point for exploring about leadership. However, make sure your own voice can be heard in the writing. The purpose of this assignment is to get you thinking about what YOU judge to be important leadership qualities. I can't be sure you have done the thinking, because the content here sounds completely AI-generated. Do you agree that "success through passion and dedication", "social responsibility through philanthropy", and "global problem solving and widespread influence" mentioned here are the most important qualities of a leader? If so, why? What else might be important? Think about these as you continue through the course. Also, notice that there is unrequired content (imagined answers from Bill Gates) and the awkward words "you or your colleagues". These signal reliance on AI tools and detract from professionalism. You can always redo your assignment and send it to [...], and we will change this score. Also, if you have any questions or difficulties, you can always email me or send me an LMS message.

 

2. (챗GPT 사용)

A very clear explanation of why he is a good leader, and the value of the interview questions. However, the biography of Eisenhower is inaccurate (on what he did after graduating West Point), according to what I find in eisenhowerfoundation.net/ikes-life. Checking for accuracy is important, and generally, you must show that you have exercised your skills and put in your own thoughts as intended by the assignment, rather than completely rely on AI tools. Meanwhile, the leadership qualities mentioned here are good starting points for your learning about leadership! So, as you continue through the course, keep thinking about what leadership qualities are most important and how they can be exercised. You can always redo your assignment and send it to [...], and we will change this score. 

 

3. (챗GPT 사용)

Well done for explaining the reason why you think he is an ideal leader, based on your own perspective on good leadership. To improve, make sure your own voice can be heard throughout the writing. Rather than a long general biography, focus your writing on giving evidence for why you think he has ideal leadership. (The purpose of this assignment is to get you thinking about what YOU judge to be important leadership qualities. When the content sounds too general and AI-generated, I can't be sure you have done the thinking.) Still, this is a good starting point; as you continue through the course, keep thinking about what other leadership qualities and styles might be important.
Unfortunately, there seems to have been some confusion about the interview question task. [...] 

 

4. (챗GPT 미사용)

Great job! Well done for explaining the reason why you think she is an ideal leader, and the value of the interview questions, based on your own thoughts about what constitutes good leadership. Your interview questions stand out as very sincere and original, reflecting your thoughts on good leadership. However, make sure to follow all requirements of the assignment, including explanation on how the questions would help understand the qualities of the person, and footnotes explaining how you have applied the LOs. This is a good starting point for learning about leadership; as you continue through the course, keep thinking about what other leadership qualities and styles might be important, and how they can be exercised. Keep up the good work!