안녕하세요. "AI 첨삭 평가 시스템"을 활용하여 현재 경제논술 논술 첨삭.평가를 진행하고 있습니다.
'경제논술 첨삭을 어떻게 AI가 하지?'라고 생각할 수 있지만, 생각보다 효율적이고, 매 모의시험마다 객관적인 평가를 받을 수 있습니다. 경제논술 기본강좌(미시, 거시, 국제)에서는 3페이지의 PDF 보고서가 제공되었는데, 코트라 경제논술 심화강좌와 직무역량평가 강좌에서는 매 회마다 5페이지의 'PDF 평가 보고서'를 받으실 수 있습니다.
물론 기계가 모든 것을 다 대체할 수 없으며, 단점 또한 존재할 것이라 생각합니다. 따라서 기계가 다 할 수 없는 부분과 관련해서는 수험생과 1:1 대면시간을 갖고, 구체적으로 어느 부분을 어떻게 개선해야 할지, 실력을 더 높일 수 있는 방향으로 조언을 해드리고 있습니다. 또한 매 회차 강사논술총평(강평)을 통해 각 문항별 설명과 주요 사항들에 대해 상세히 설명드리고 있습니다.
톰슨에듀 경제논술 강좌를 수강해 경제논술을 작성해 제출하면, AI 첨삭 평가 시스템에 의해 제공되는 "코트라 경제논술 AI 첨삭 평가 보고서"의 내용에 대해 간략히 설명드리고자 합니다. 아래는 경제논술 AI 첨삭 보고서의 주요 내용입니다.
※ 손으로 작성한 경제논술 답안을 제출하면, 답안에서 자동으로 TEXT를 추출하여 아래와 같은 방식의 보고서를 만들어 제공합니다.
1. 지원분야 경제논술, 토익 성적과 순위
- 각 지원분야(수도권/비수도권/어문계/이공계) 지원자 중 본인의 성적순위, 토익평균, 토익순위, 지원자 토익점수, 합격자 토익평균을 확인할 수 있습니다.
2. 경제논술점수 현황, 본인점수 현황비교 (기초 통계분석)
- 회차별 경제논술 점수에 대한 통계분석
- 응시인원, 본인점수, 평균대비, 합격자 평균, 순위, 최고·최저점, 평균 등 기초통계량 제공
* 합격자 평균은 최근 8년(2016~2023) 간의 수강생 중 최종 합격자의 회차별 점수 평균입니다.
* 인원은 현재 전체 학원 수강생(직렬 통합) 중 응시인원입니다.
본인 점수(총점)은 어떻게 계산될까요?
총점은 크게 5가지 기준에 의해 가중평균해 합산된 점수입니다. 기계적으로 평가되는 방식이기 때문에, 인간에 의해 부여되는 점수보다 객관적이며 정확하다고 할 수 있습니다.
1) 답안정확도 : 코사인유사도
가장 중요한 것은 코사인유사도로, 모범답안과 여러분의 답안을 모두 수치/배열화해서 코사인유사도(유클리디안 거리)를 계산해, 모범답안과 유사도측면에서 얼마나 유사한지를 계산해 산정합니다. 즉, 코사인유사도는 0~1사이의 값으로, 1이면 모범답안과 100% 동일하다는 것을 의미합니다.
2) 답안 분량 : 모범답안 대비 80% 기준 (단어, 문장 수 기준)
적정한 답안 분량은 대개 1시간 기준 3~4페이지라 할 수 있는데, 사람마다 글씨 크기, 여백 등이 다릅니다. 따라서, 단순히 몇 페이지를 썼느냐가 중요한 것이 아니라, 몇 단어, 몇 문장 등을 썼느냐가 중요합니다. 모범답안 대비 80%의 분량을 작성했다면, 답안 분량은 만점을 받는 것으로 설정했습니다.
3) 논리 전개력 : GPT 3.5 Turbo 기준
답안의 논리 전개력과 일관성은 ChatGPT 3.5가 판단해 점수를 부여합니다. 이미 GPT 모델은 글쓰기 분야에서 상당 수준의 성능을 보이기 때문에, 논리 전개력, 일관성 등을 판단할 수 있는 수준이라 할 수 있습니다.
4) 내용 충실성, 분석적 사고력: 코사인유사도, 페이지 분량, GPT 평가 가중평균
내용 충실성과 분석적 사고력은 자체 평가 기준에 의해 코사인유사도, 페이지 분량, GPT 평가 등을 가중평균해서 자체적으로 도출할 예정입니다.
3. 회차별 평균 대비 본인 점수 트렌드
- 각 회차별 본인의 점수가 평균 대비 어떠한지를 그래프로 나타내줍니다.
4. 분야별 강점.약점분석 차트 (레인보우 차트)
- 위에서 말씀드린 본인 점수(총점)의 5가지 구성요소를 10점 만점 기준으로 환산해, 어떤 부분에서 강점 또는 약점이 있는지 차트로 제시합니다.
5. 지원자 점수 분포대별 인원통계와 TOP7 순위
- 매 회차별 응시자들의 점수 통계와 TOP7의 순위를 공개합니다. 자신의 위치를 확인하는 척도로 유용하게 활용할 수 있으며, 서로 경쟁하는 분위기가 형성되고 학습의 동기부여가 됩니다.
6. 수강생 지원 직렬별 통계분포
- 학원수강생 기준 지원직렬에 있는 응시자의 통계(응시이원, 토익, 점수통계)를 제시해, 지원직렬 내 응시자 본인의 학업성취도를 파악합니다.
- 경제심화 평가지에서는 어문계의 경우, 각 언어별로 세분화 예정입니다.
7. 경제논술 답안에서 사용단어 빈도(모범답안 VS 본인)
- 모범답안에서 가장 빈출되는 단어와 응시자 답안에서 빈출되는 답안을 비교해 어느정도 차이가 있는지를 비교합니다. (모범답안 빈출단어 기준)
8. 응시자 경제논술 주요 빈출 단어 (워드크라우드)
- 응시자 논술 답안의 빈출 단어를, 워드크라우드 형식으로 시각화하여 제공합니다.
9. 코트라 최종합격자의 성적 대비 나의 성적
- 매 회차별 본인 점수를 합격생 평균값과 비교하여 그래프로 제시합니다. 최대값, 최소값까지 알 수 있습니다. 그래프의 음영 부분은 지난 8년간의 회차별 25%~75%의 점수 구간입니다. 이와 비교하여 본인의 위치를 알 수 있습니다.
10. 머신러닝을 활용한 회차별 점수예측시스템
- 이 부분이 AI논술첨삭의 Highlight라 할 수 있습니다. 지난 8년동안 경제논술심화 강좌를 수강한 학생들의 점수 데이터를 기반으로, 머신러닝(랜덤포레스트 회귀모델)을 적용해, 각 회차별 점수를 몇 점 받을 것인가를 훈련시켰습니다.
- 만약, 응시자가 1회차에서 40점을 받으면, 직렬, 토익점수, 그리고 과거 7년 수강생 데이터를 기반으로, 2회차~8회차까지 각 회차별로 몇 점을 받게 될 것인지 예측합니다. 이를 차트로 나타내어 제공합니다.
- 만약 1회차에서 40점 받았는데, 2회차에 대한 AI 예측점수가 50점인데, 실제 50점 이상을 받았다면 평균적으로 공부를 많이 했다는 것이고, 50점보다 낮게 실제 점수를 받았다면 노력이 더 필요하다는 것을 알 수 있겠죠?
- AI의 점수 예측과 실제 여러분의 점수를 비교하면서, 자극도 받고, 열심히 노력해 AI의 예측 범위를 상방으로 벗어난다면 더할 나위 없이 좋을 것 같습니다.
※ 이번 경제논술심화, 직무역량평가 강좌에서는 축적된 데이터가 많아서, 점수 예측을 넘어 합격률 예측까지도 가능합니다.
11. 문항별 세부평가표 (GPT 3.5 Turbo기준)
- GPT3.5 API를 파인튜닝(경제논술 첨삭에 맞도록 조정)을 활용해, 응시자의 논술답안에 대해 논리적 일관성 등을 평가합니다.
12. 실전 시뮬레이션 분석결과: 합격 가능성
13. 경제논술 총평(강사 총평)
- 평가보고서의 마지막 페이지는 회차별 경제논술에 대한 강사의 총평이 포함됩니다. AI가 체크하지 못한 부분을 보완해 각 문항별로 구체적인 강평을 제시합니다.