자동 에세이 채점(AES)은 인간이 직접 읽지 않고 산문, 일반적으로 학생 에세이를 평가하는 계산 방법이다. AES 시스템은 통계 모델, 자연어 처리, 그리고 점점 더 Machine learning 기법을 사용하여 텍스트를 분석하고 문법적 정확성, 일관성, 논증 강도와 같은 차원에 점수를 부여한다. 이 접근 방식은 1990년대 후반부터 상업적으로 배포되었으며 현재 대규모 표준화 시험과 온라인 학습 플랫폼에 통합되어 인간 평가자에 비해 속도, 일관성, 비용 효율성을 제공한다.
AES는 에세이에서 문장 길이, 어휘 다양성, 구문 복잡성, 담화 표지의 존재와 같은 특징을 추출한 다음, 예측 모델을 사용하여 해당 특징을 점수에 매핑하는 방식으로 작동한다. 초기 시스템은 수작업 규칙과 회귀 분석에 의존했지만, 현대 구현은 Deep learning 아키텍처를 포함하여 Neural network 모델과 Transformer (architecture) 기반의 대형 언어 모델을 사용하여 글쓰기의 더 미묘한 패턴을 포착한다. 이 분야는 자연어 이해와 자동 피드백에 대한 인공지능 연구와 교차하며, 기계 기반 평가의 타당성, 공정성, 그리고 교육적 영향에 대한 지속적인 논쟁을 촉발했다.
역사적 발전
자동 에세이 채점의 개념은 1960년대에 등장했지만, 실용적인 시스템은 1990년대까지 나타나지 않았다. 첫 번째로 널리 사용된 상업 시스템인 Project Essay Grade(PEG)은 1966년 Ellis Batten Page가 개발했지만, 수십 년 동안 실험적이었다. 1999년에는 교육평가원(ETS, Educational Testing Service)이 e-rater를 도입하여 GR Graduate Record Examination 및 기타 시험에 에세이 점수를 매기기 위해 통계 및 언어적 특징을 결합했다. 같은 시기에 시맨틱 분석에 기반한 지능형 에세이 평가 시스템(IEA, Intelligent Essay Assessor)이 Pearson에 통해 지식 분석 기술 플랫폼에 배포되었다. 이 초기 시스템은 특징 엔지니어링과 선형 모델에 의존하며 인간 평가자와의 중간 수준의 일치를 달성했다.
2010년대까지, Machine learning의 부상과 대규모 주석 에세이 코퍼스의 가용성으로 더 정교한 접근 방식이 가능해졌다. Hewlett 재단의 2012년 자동화 학생 평가 상(ASAP) 대회는 공개 벤치마크를 제공하며 앙상블 방법과 특징 중심 모델에 대한 연구를 촉진했다. 2017년 Transformer (architecture) 아키텍처의 도입, 특히 BERT 및 이후의 Large language model은 전환점을 표시하여, AES 시스템이 수작업 특징만 아니라 본문 전체를 맥락적으로 처리할 수 있게 했다. 2020년 중반까지, College Board와 다양한 주 평가에서 사용되는 것을 포함한 많은 상업 시스템은 신경 모델을 통합하지만, 기계 점수와 인간 검토를 결합한 하이브리드 접근 방식도 여전히 일반적이다.
기술적 접근
AES 시스템은 일반적 전처리, 특징 추출, 그리고 점수화의 파이프라인을 따른다. 전처리는 토큰화, 품사 태깅, 구문 분석을 포함하며, 종종 컴퓨터 언어학 도구를 사용한다. 특징 추출은 표면 수준 특징(예: 단어 수, 문장 길이), 구문 특징(예: parse tree 깊이, 절 밀도), 의미적 특징(예: 주제 일관성, 어휘 겹침), 그리고 담화 특징(예: 주제문 사용, 구조 지시어)로 분류할 수 있다. 서포트 벡터 머신이나 선형 회귀와 같은 전통 모델은 이러한 특징을 단일 점수로 결합했다.
현대 AES는 점점 더 딥러닝와 Neural network 모델, 특히 Transformer (architecture) 기반 아키텍처에 의존한다. 이러한 모델은 원시 토큰에서 직접 텍스트의 표현을 학습할 수 있으며, 장거리 의존성과 세밀한 문체 패턴을 포함한다. 예를 들어, 모델은 미리 훈련된 large scale language model를 백본으로 사용하고, 연속 점수를 출력하는 회귀 머리로 에세이 점수 데이터셋으로 미세 조정할 수 있다. 일부 시스템은 Multi-Head Attention 메커니즘을 사용하여 에세지의 다른 부분을 가중치 부여하고, 다른 시스템은 Sequence-to-Sequence (Seq2Seq) 또는 Encoder-Decoder Architecture 프레임워크를 사용하여 피드백 생성과 같은 더 복잡한 작업을 위해 사용한다. 훈련은 일반적으로 인간 평가된 에세이데이터에 대한 지도 학습으로 수행되며, 평균 제곱 오차나 순서 회귀 손실과 같은 손실 함수를 사용한다. Data Augmentation 및 Curriculum Learning와 같은 기법은 강건성을 향상시키기 위해 일부 적용되고, Model Pruning는 배포에 대한 계산 비용을 줄일 수 있다.
응용 및 배포
AES는 여러 고위험 및 저위험 맥락에서 사용된다. 표준화 테스트에서는, 교육평가 서비스(ETS)가 GRE 및 TOEFL 시험에해 e-rater를 사용하며, College Board는 SAT 에세이에 AES 시스템을 사용한다(수업은 2021년 중단했지만 일부 주 평가에서는 여전히 사용). Pearson의 지능형 에세이 평가 시스템은 K-12 및 대학 글쓰기 프로그램에 사용된다. MOOC(대규모 공개 온라인 과정)에서는 AES가 수천 명의 학생에게 확장 가능한 채점을 가능하게 한다.
테스트 외에도, AES는 학생이 글을 수정하는 데 도움이 되는 자동 피드백 도구를 구동한다. 이러한 시스템은 문법 오류를 플래그 지정하고, 조직 개선을 제안하며, 전체 점수를 제공할 수 있다. 반면에, 일부 연구 프로토타입은 Reinforcement learning 또는 Reinforcement Learning from AI Feedback (RLAIF)를 사용하여 더 설명적인 피드백를 생성한다. 그러나 배포는 논란이 없는 것은 아니다. 비판자들은 AES가 과장된 표현이나 인위적으로 복잡한 언어로 플레이될 수 있으며, 창의적이거나 표준이 아닌 글쓰기 스타일을 처벌할 수 있다고 주장한다. 연구에 따르면 인간 평가자와 AES는 특히 창의적인 수사적 수준의 에세지에서 종종 의견이 다르며, 비영어권 학생과 다양한 배경의 학습자에 대한 공정성 문제가 제기된다.
평가 및 과제
AES 시스템은 일반적으로 인간 점수와의 일치를 측정하며, 제곱 가중 카파(QWK)나 Pearson 상관 계수와 같은 지표를 사용한다. ASAP 벤치 자료는 QWK 0.80 이상을 표준으로 설정했으며, 많은 현대 시스템은 이를 초과한다. 그러나 평균적으로 높은 일치를 달성하는 것은 개별 에세이, 특히 이상치에 대한 정확성을 보장하지 않는다. 과제는 주제에서 벗어난 에세이의 처리, 적대적 입력(예: 모델을 취한 의미 없는 텍스트)의 탐지, 문화 및 언어적 다양성의 고려를 포함한다. 연구에 따르면 AES는 훈련 데이터가 대표적이 아닌 경우 일부 문화적 인구 집단으로부터 에세이를 체계적으로 낮게 채점할 수 있는 편향이 있다는 것도 알려졌다.
또 다른 과제는 신경 모델의 해석 가능성이다.특징 기반 시스템은 기여 특징을 나열하여 점수를 설명할 수 있지만, Deep learning 모델은 종종 불투명하다. 이로 인해 가시적 지도나 Model Pruning을 활용한 설명 가능한 AES에 대한 연구가 진행되었다. 2020년 초반까지, 어떤 AES 시스템도 교육받은 인간 평가자의 판단을 완전히 복제하지 못하며, 대부분 전문가는 고위험 결정에서는 인간 평가를 보완하는 것으로사용할 것을 권장한다.
미래 방향
대형언어모델의 조건 통합은 활발한 연구 분야이다. GPT-4와 Claude와 같은 모델은 상세한 피드백을 생성하고 few-shot 프롬프트로 에세이를 점수룰 수 있지만, 신뢰성과 일관성은 여전히 검토 중이다. 일부 연구자는 Generative AI를 사용하여 합성 훈련 데이터를 생성하고, 주석이 있는 에세지의 부족을 해결할 것을 제안한다. 다른 연구자는 멀티태스킹 학습을 탐구한다. GPT-4와 Claude가 개발됨에 따라, 일부는 AES를 일반 목적 언어 모델이나 특수화된 점수 시스템에 기반해야 하는지에 대한 질문이 제기된다.
정책과과 윤리적 고려사항은 미래 채택에 영향을 미칠 가능성이 있다. 알고리즘책임, 데이터 개인정보 보호, 자동화의 교육적 역할에 대한 논쟁은 지속이다. 일부 교육 기관은 완전 자동화된 점수 시스템을 도입하고, AES가 첫 번째 패스를 제공하고 인간 평가자가 경계적인 사례를 검토하는 인간-중심 시스템을 선호다. 2024년 중반까지, 분야의 합의는 AES가 계속 진화할 것이며, 그 성과는 공정성, 투명성, 피드백의 교육적 가치를 해결 것에 중요하게 달려 있다.
참조
- Machine learning
- Large language model
- Transformer (architecture)
- educational testing service
- Natural language processing