/그래픽=PADO
2023.06.16 12:17
9min
'100% 인공지능(AI).' 한 학생이 제출한 과제물에 대해 소프트웨어가 내린 결론이었다. 내가 이끄는 학술 프로그램의 교수 한 명이 우연히 이 사실을 발견하고 어찌해야 하냐고 물었다. 다른 교수도 이 학생의 다른 과제물에서 '100% AI'라는 같은 결과를 받아 들고 역시 의문에 빠졌다. 이게 무슨 의미일까. 그때도 몰랐지만 지금도 모르겠다.
이 문제는 더 많은 문제들로 나뉜다. 학생이 AI를 사용했는지를 확실히 판별하는 게 가능한 건지, 과제 작성에 AI를 '사용한다'는 의미는 무엇인지, 그리고 그게 부정행위에 해당하는지 여부 등이다. 학생의 과제물을 판별한 소프트웨어는 다층 구조로 돼 있다. 우리가 쓰는 교육용 프로그램 캔버스(Canvas)는 인기 있는 표절 탐지 서비스 턴잇인(Turnitin)을 운영하는데 최근 새로운 AI 탐지 알고리즘을 추가했다. 부정행위로 의심되는 증거는 마트료시카1 같은 에듀테크 업계의 블랙박스에서 나온 것이다.
대학에서 챗GPT(ChatGPT)의 원년이 저물어가는 지금, 캠퍼스는 혐의와 혼란이 뒤섞인 소용돌이 속에 있다. 지난 몇 주 동안 나는 AI 발 '부정행위' 여파를 처음으로 마주하게 된 교육자와 학생들 수십 명과 이야기를 나눴다. 그들의 이야기를 듣고 혼란스러워졌다. 캠퍼스에서 나온 보고서를 보면, 교육 영역에서 AI의 정당한 사용과 부정한 사용을 구분하는 게 불가능할 수 있으며 부정행위자를 식별하고 이들에게 책임을 묻는 것도 거의 불가능할 것으로 보인다.
옛날 옛적에 학생들은 반 친구들과 시험 내용을 공유하거나 과제물을 전해주곤 했다. 그 이후엔 인터넷의 도움을 받아 숙제를 외주화하는 현상이 나타났다. 에세이샤크(EssayShark)는 이런 과정을 전문화한 온라인 비즈니스다. (이 업체는 "연구 및 참조 목적으로만" 학기 말 과제를 판매한다고 주장한다.) 학생들은 체그(Chegg)와 같은 '튜터링' 서비스에서도 과제 답안을 구매할 수 있게 됐다. 학생들 사이에선 이런 행동을 '체깅'(chegging)이라고 하는 모양이다. 하지만 작년 가을 AI 챗봇이 등장하면서, 이전에 있었던 부정행위 방법은 모두 구식이 된 것 같다. "우리는 이제 (챗GPT가) 신규 고객 성장률에 영향을 미치고 있다고 생각합니다" 체그의 CEO는 이번 달 실적발표에서 이를 인정했다. 그 이후 이 회사의 시가총액에서 약 10억달러(약 1조2945억원)가 날아갔다.
[PADO '언더그라운드 엠파이어' 북콘서트가 11월 30일(토) 광화문에서 열립니다! (안내)]
이와 같은 대격동 시대의 수혜를 입는 기업도 있기 마련이다. 턴잇인은 2018년 기준으로 이미 매년 1억달러 이상의 수익을 올리며 교수들이 부정행위를 탐지하는 데 도움이 되는 서비스를 제공했다. 학생들의 과제 제출 시스템에 내장된 턴잇인의 소프트웨어는 과제물을 기존 데이터베이스(이전에 수집한 다른 학생 과제 포함)와 비교해 '붙여넣기' 한 자료가 있는지 식별한다. 전 세계 1만5000개 교육 기관에 서비스를 제공한다는 이 기업은 2019년 17억5000만달러(약 2조2659억)에 인수됐다. 지난달에는 AI 탐지 부속 프로그램을 출시하기도 했다.(교사가 해당 프로그램의 사용을 거부할 권한은 없다.) 이처럼 AI 챗봇과 같은 기술을 사용해 AI 챗봇에 대응하는 방법이 점점 더 주류로 자리 잡고 있다.
AI 챗봇의 등장 후 처음 맞이하는 봄 학기가 마무리되는 가운데, 턴잇인의 새로운 소프트웨어는 부정행위를 식별해 쏟아내고 있다. 이 과제는 "18% AI"고, 저건 "100% AI"라면서 말이다. 하지만 이런 수치가 정말로 무엇을 의미하는지 명확히 말하기란 놀랍게도(그리고 어처구니없게도) 참 어렵다. 내가 들은 '100% AI' 사례에서 학생들은 챗GPT나 다른 AI 도구가 모든 작업을 대신해 주진 않았다고 주장했다.
하지만 턴잇인은 이 경우, 해당 에세이의 100%, 그러니까 모든 게 컴퓨터 생성 문장이라는 것을 시사한다고 했다. 게다가 이건 98% 정확도로 나온 판단 결과라고 한다. 다만 턴잇인 대변인은 문법 검사기나 자동 번역기 등 "다른 컴퓨터 지원 시스템을 사용해 생성된 텍스트"는 위양성2(僞陽性) 판정을 내리기도 하며, 일부 '실제로 쓴' 글도 AI 생성 글과 유사할 수 있다는 점을 이메일로 인정했다. "어떤 이들은 단순히 매우 예측 가능한 방식으로 글을 씁니다." 대변인의 말이다. 이 모든 사항을 고려해도 회사가 주장하는 98% 정확도가 나오는 걸까?
아마도 이건 중요하지 않을지도 모른다. 턴잇인은 부정행위 여부 판단은 내리지 않는다고 명시하고 있기 때문이다. "이건 교육자가 추가 검토 또는 학생과 토론이 필요한지 판단하는 데 도움이 되는 수치일 뿐입니다. 교육이란 인간의 노력이니까요." 턴잇인은 소프트웨어의 '작은' 위양성 가능성이라도 이를 맞닥뜨릴 사람들을 위해 가이드라인을 두고 있다. 내용을 보면 턴잇인 리소스(AI오용 평가기준표와 AI 오용 체크리스트 이용가능)를 더 많이 활용하고 처음보다 작업을 더 많이 하라고 권장한다.
그러니까 판별 프로그램을 돌린 결과 '100% AI'로 나온 학생은 AI를 약간, 혹은 많이, 그게 아니라면 그 중간 정도로 사용했을 수도 있다. 그 방식이 정확히 어떠했는지 그리고 그게 잘못됐었는지 여부처럼 좀 더 심오한 질문의 경우, 나 같은 교육자들이 여전히 혼자 고민하고 있는 부분이긴 하다.
분명 100% 인공지능에 의존하는 학생들도 있을 것이다. 어떠한 노력도 하지 않고 과제를 완성하려는 거다. 하지만 아이디어를 떠올리고, 막혔을 때 도움을 받고, 어려운 단락을 재구성해 보거나 문법상 틀린 부분이 없는지 확인하기 위해 챗GPT와 같은 도구를 사용하는 이들도 많다.
[PADO 트럼프 특집: '미리보는 트럼프 2.0 시대']
둘 사이의 경계가 뚜렷하지 않을 때도 있다. 노스조지아대학교 영문학 교수 매튜 보디가 들려준 이야기가 있다. 잠옷 차림으로 수업에 참석할 정도로 참여도가 너무 떨어지는 학생이 있었다. 이번 봄 학기에 그 친구가 평소답지 않게 빼어난 에세이를 제출했다. 보디 교수는 챗봇이 연관됐다고 의심했고 오픈AI의 검증 도구로 이를 확인했다. 학생은 시작을 어떻게 할지 몰라서 챗GPT에 서문 작성과 자료 추천을 요청했다고 한다. AI 부정행위에 대해 명확한 방침이 없다 보니 보디 교수는 학생과 직접 에세이에 대해 이야기를 나눴고 그 대화를 토대로 점수를 줬다.
내가 강의하는 세인트루이스 워싱턴대학교의 한 컴퓨터공학과 학생은 모순을 좀 느꼈다고 한다. 앞서 팬데믹 때는 완전 오픈북 과제를 받았건만 올해는 "AI 외에는 뭐든 사용할 수 있다"는 규칙이 적용된 것. (학생들이 AI 도구 사용에 대해 솔직할 수 있도록 나는 그들의 이름을 공개하지 않고 있다.) 조교로도 일하는 이 학생은 컴공과 필수 기술적 훈련뿐 아니라 몇 가지 개념적인 문제 해결에도 컴퓨터가 도움이 된다는 사실을 몸소 경험하고 있다. 인공지능 기술을 활용하면 "체그 같은 거에 돈을 쓰는 거보다 도덕적으로 덜 타락하게 느껴진다"는 게 그의 설명이다. 챗봇과 상호작용하는 학생은 스스로를 위한 노력을 하고 미래를 살아가는 법을 배우고 있는 셈이다.
포모나칼리지에서 정치학을 공부하는 한 학생은 AI를 자신의 아이디어를 압박 테스트3하는 도구로 활용한다. 중동 식민주의 연구에 관한 논문을 맡았을 당시 이 학생은 주제를 정하고 챗GPT에 의견을 구했다. 그는 말했다. "헛소리라고 답하더라고요. 그래서 AI와 토론을 해봤죠. 그 과정에서 챗GPT는 제 논문에 진지한 반론을 제기했는데 그걸 고려해 논문을 다시 썼어요." 이 학생은 또한 자료 추천을 받을 때도 챗봇을 쓴다. "저는 챗GPT를 동료이자 관심을 보이는 청중이라고 생각해요."
이 학생이 AI를 사용하는 방식은 현명하며 전적으로 정당한 듯 보인다. 하지만 그가 컴퓨터 생성 언어를 지나치게 많이 차용한다면, 턴잇인은 작업물이 진짜가 아니라고 판단할 수도 있다. 교수는 학생들이 챗GPT를 섬세하게 활용하는지 아니면 노골적으로 부정행위를 저지르고 있는지 정확히 알기 어렵다. 혹자는 문제가 없다고 말할 수도 있다. 그저 학생들과 상호 신뢰 관계를 구축하고 공개적으로 문제를 논의하면 된다는 거다. 처음에는 좋은 아이디어처럼 보이나 AI는 교수진과 학생들의 관심사를 분열시킬 위험이 있다. "AI는 극도로 유혹적이라 위험합니다." 펜실베니아 그린스버그에 있는 세튼힐대학교의 데니스 저즈 교수의 말이다. 수업에 열심히 참여하지 않은 학생들의 경우, 결과물이 좋을 필요조차 없다. 그저 어느 정도 괜찮고 빠르게 과제를 마무리하면 된다. "AI는 평범한 작업물을 쏟아내는 일을 훨씬 손쉽게 해 주죠."
교수진은 학생들에게 과제의 장기적인 이점을 이해시키기 위해 고민이 많다. 하지만 그들의 업무는 점점 더 어려워지고 있다. "완전히 의욕을 잃게 됐어요." 플로리다의 한 영문학 강사가 AI 부정행위에 대해 한 말이다. "작년 9월만 해도 내 일을 사랑했는데, 올해 4월에는 완전히 그만둘 결심을 했습니다." (직업 관련 영향을 줄 수 있기에 해당 교사의 이름이나 고용주 정보는 보호차 공개하지 않는다.) 이 강사는 논문 작성, 참고 문헌, 개요 및 에세이 작성과 같은 전형적인 글쓰기 과제를 맡고 있다. 그러나 그는 AI가 교사와 학생 사이에서 무의미한 군비 경쟁을 일으킨다고 느끼고 있다. "챗GPT 같은 도구로 인해 학생들은 이런 글쓰기 능력 개발에 관심을 가질 이유가 없다고 생각합니다." 학생들이 이전 학기에 챗GPT로 과제를 끝마쳤다고 인정한 뒤에는 의문에 빠졌다.(어떤 학생의 경우 과제를 죄다 그렇게 했다.) 학생들이 어쩌면 읽지도 않았을 수도 있는 자동화 도구로 작성된 과제 채점에 시간을 낭비해야하는지 말이다. 무의미하다는 감정이 그의 강의에도 영향을 미쳤다. "무너지기 일보직전이었죠. 전 학생들을 가르치는 걸 사랑했고 교실에서의 시간을 즐겼지만, 챗GPT로 모든 게 의미가 없어지는 느낌이에요."
그가 말하는 손실은 '학문적 정직성'(academic integrity)이 뜻하는 것보다 더 깊고 본질적인 차원에서 벌어진다. 학생과 교사 사이의 특정한(어쩌면 쇠퇴하고 있는) 관계다. "AI 때문에 교실은 이미 제가 알고 있던 그런 교실이 아니에요." 이 관점에서 볼 때 AI는 미래의 전령이 아니라, 재정 지원 붕괴, 총기 폭력, 정부의 과도한 개입, 경제적 쇠퇴, 학력주의 등으로 이미 존속이 어려웠던 교육자라는 직업에 대한 최후의 결정타다. 그 암울한 상황에서 신기술이 도래하자 학업이란 건 쓸모없는 것처럼 느껴지며, 가르침이나 배움을 위한 게 아니라 기계를 돌리는 작업처럼 돼 버린다.
[새로운 PADO 기사가 올라올 때마다 카톡으로 알려드립니다 (무료)]
교육계를 떠나면 무얼 할 생각인 걸까, 나는 궁금해서 물어봤다. 답은 자명했다. 다른 선택지가 뭐가 있겠는가. 그는 프로그램 개발자가 되려 한다.
AI 시대 교육을 두고 흔히 나오는 주장이 있다. 바로 교사가 적응해야 한다는 것. 애리조나주립대학교의 심리학과 교수 아테나 액티피스는 과제물을 내주기보단 토론과 학생이 정의한 프로젝트를 중심으로 수업을 전면 개편했다. "학생들이 다른 강의에선 느끼지 못했던 인간적인 느낌을 주는 강의라고 하더군요." 액티피스 교수의 말이다.
그러나 많은 학생에게 대학은 그저 과제물을 작성하는 곳만은 아니다. 쉽고 편한 길은 다른 측면에서 인간다움을 느끼게 해 주기도 한다. 내 프로그램에서 턴잇인의 '100% AI'로 판독된 논문을 쓴 학생은 문법 검사 소프트웨어로 문장을 검토했고 챗GPT에 일부 내용을 다듬어달라 했다고 했다. 그 학생에겐 품질보다 효율성이 더 중요해 보였다. 이 글을 준비하면서 AI 관련해 하고 싶은 이야기가 있는지 묻자 학생은 이렇게 말했다. "가끔 농구를 하고 싶을 때가 있어요. 때론 운동도 하고 싶어요." 터무니없는 소리로 들릴 수 있다. '대학은 배움의 터전 아니냐. 그럼 과제를 해야지!' 하지만 스트레스, 비용, 기타 외부요인으로 대학 캠퍼스에선 정신 건강 위기가 벌어지고 있다. 이 학생에 따르면 다른 방법이 없을 때 AI는 스트레스를 줄이는 데 도움을 준다고 한다.
교육자도 비슷한 압박을 느낀다. 교수진도 학생과 마찬가지로 어떤 면에서 챗봇의 위력에 유혹을 받는다. 성가시거나 전문적 목표에 집중을 못 하게 하는 업무를 용이하게 할 수 있다는 게 그 이유다. (지난달에 언급한 것처럼 전통적인 추천서 작성 역시 대학 에세이만큼 AI의 위협을 받을 수 있다.) 이런 상황에도 교수들은 학생들이 스스로를 속이고 있다고 우려하며, 그사이에 갇혔다며 불평하고 있다. 네덜란드 틸뷔르흐대학교에서 문화 연구를 가르치는 줄리언 해너는 AI의 정교한 사용이 이미 성공할 가능성이 높아 보이는 학생에게는 주로 이득을 주지만, 가난한 학생들을 더욱 위험에 빠뜨릴 것이라 생각한다. "제 생각에 최우수 학생들은 그게 필요하지 않거나, 들킬까 봐 걱정하겠죠. 아니라면 둘 다겠고요." 나머지 학생들은 그 이전보다 학습량이 줄어들 위험이 있다는 것이다. 추가로 또 고려해야 할 요소가 있다. 영어를 제2언어로 사용하는 학생들은 문법 점검 소프트웨어에 더 의존하거나 챗GPT로 문장 표현을 다듬는 경향이 나타나기도 한다는 점이다. 그러면 이들은 불균형적으로 부정 행위자로 지목될 가능성이 있다.
어떻게든 군비 경쟁은 계속되리라 본다. 학생은 AI를 마구 사용하려는 유혹을 받을 것이고 대학은 이를 막으려고 애쓸 것이다. 교수가 일부 AI 기능은 허용하고 다른 건 금하는 방식을 택할 수도 있다. 하지만 뭘 선택할지는 주어진 소프트웨어에 영향을 받는다. 기술 자체가 대학교의 공식 정책이나 깊은 성찰보다도 더 큰 영향력을 가질 것이다.
대학들도 적응하느라 애를 쓸 것이다. 학문적 성실성을 따질 때는 대부분 기계가 아니라 사람의 공헌도를 중시한다. 이는 예전 방식의 아너 코드4도 어느 정도 개정된다는 것을 뜻한다. 부정행위 의심자를 조사관들은 새롭게 개발된 AI 탐지 방법으로 찾은 수수께끼 같은 '증거'를 두고 고심해야 한다. 그러면 모든 부분이 다시 변할 것이다. 새로운 시스템이 각각 자리를 잡을 때쯤이면 기술과 그 사용 관행도 변화했을 가능성이 있다. 챗GPT가 등장한 지 갓 6개월밖에 되지 않았음을 명심해야 한다.
온라인 강의가 필수가 됐던 시절과 마찬가지로 AI를 염두에 두고 학생들에게 어떤 과제를 내줄지 다시 생각해볼 필요는 있다. 다만 그렇게 한다면 교수와 학생 양쪽 모두 지치는 상황이 올 수 있다. 기술 발전과 상대방의 변화에 계속 대응하는 건 힘에 부치는 일이지만 모두에게 다른 선택지는 없다. 이 모든 지각 변동과 그에 대한 임기응변 사이의 틈 어딘가에서, 교육자는 어떻게든 가르칠 방법을, 학생은 배울 방법을 찾아낼지도 모른다.
이언 보고스트는 미국의 학자이자 게임 제작자로 세인트루이스 워싱턴대학교에서 영화·미디어학을 가르치고 있다. SNS 게임을 희화화하며 비판한 게임 '카우 클리커'(Cow Clicker) 등을 제작했고 저서로 '뉴스게임'(Newsgames: Journalism at Play), '비디오게임의 표현력'(Persuasive Games: The Expressive Power of Videogames) 등이 있다.
파괴는 창조적일 수 있습니다. 챗GPT와 다른 대화형 생성AI 시대가 개막되면서 이제 '공부'의 정의가 달라져야 할 때가 온 것 같습니다. 이제 암기는 더 이상 공부가 아니고, 좋은 보고서도 학업이 못 될 것 같습니다. 학생들을 평가하는 원초적 방법은 '비바 보체'(viva voce: live voice) 즉 즉석에서 구두시험 내지 구두발표에 기반해 평가하는 것입니다. 종이, 인쇄, 컴퓨터가 지금까지 '학교'를 이끌었다면, AI의 등장으로 '학교'는 다시 종이, 인쇄, 컴퓨터 이전 시대로 돌아가야 할지도 모르겠습니다. 그것이 기존 학교에는 파괴적이겠지만, 가장 원초적인 형태의 '학교'에는 '회복'으로 보일 것입니다. 2000여년전 소크라테스와 공자가 제자들과 대화를 나누며 학문을 하던 그 원초적 형태의 학교가 다시 나타날수도 있습니다. 챗GPT가 가져온 대학 캠퍼스의 혼란한 풍경을 애틀랜틱 5월 16일자 기사가 생생하게 그리고 있습니다. 교육과 학문을 재정의해야 할 때가 된 것 같습니다.