[AI-post 3] Exam problem prediction for the judicial examination (posting date : 190429)
TF-KR URL : https://www.facebook.com/groups/TensorFlowKR/permalink/889771008030625/
Article URL : http://www.aitimes.kr/news/articleView.html?idxno=13724
* 일단 아쉽게도, 관련 paper 및 상세 내용 소개 사이트 등을 확인할 수 없어, 본 posting은 관련 내용을 참조로 짐작한 내용이 포함되어 있음을 말씀드립니다.
얼마전 TF-KR community 에 올라온 AI 기반 기출 문제 예측 시스템에 대한 기사입니다.
RNN 기반 Deep learning 시스템에 지난 5년간 기출 문제 ‘유형(카테고리)’에 대해 학습시켜, 차년도 시험에 출제될 문제의 ‘유형(카테고리)’을 예측하도록 구성하였으며, 그 결과는 다음과 같습니다.
[1차] 2018년 일본 공인중계사 시험, 적중률 78%, (39문제/50문제)
[2차] 2019년 일본 사법시험 (단답형), 목표 적중률 60% (63문제 / 105문제), 5월 19일(사법시험 실시일) 이후 결과 발표 예정
출처 : 인공지능신문(http://www.aitimes.kr)
그림 1. 기출 문제 예측 시스템 ‘미래문’ 개요도
‘미래문’으로 명명되는 해당 Deep learning 시스템은, 그림 1과 같이 2개 모듈로 구성되어 있습니다.
– [카테고리 분류 엔진] ‘기출 문제를 문제 유형별로 정리’하는 전처리 과정이 목표임. 지난 5년간 기출 문제들을 128개의 ‘출제 유형(카테고리)’으로 분류함. AI 엔진으로 명명된 것으로 보아, Fully connected network 등 기본 구조를 사용하여 해당 기능을 구현했을 것으로 판단됨. 해당 엔진이 사용 된 것은, 기출 문제가 ‘너무 많아서’로 생각됨. 즉, 해당 엔진 없이 손수 분류 전처리 작업을 수행해도 될 것을, 해야 할 문제 수가 너무 많기에 AI 시스템을 넣고 분류 한 것으로 판단됨.
– [기출 문제 예측 엔진] 본 시스템의 코어 신경망. ‘기출 문제 유형(카테고리)에 대한 패턴을 학습하여, 차년도 문제 유형(카테고리)에 대한 패턴을 예측’하는 것이 주 목표. 시계열 데이터 연관성을 따져야 하기에, 당연히 RNN 구조가 사용 됬을 것으로 생각되나, 전년도 기출 경향이 짧게 표현될 수 없음을 생각했을 때, LSTM등의 memory cell 구조가 사용 됬을 것으로 짐작됨.
* 이렇게 예측된 카테고리 별 문제 은행을 별도 구성하여, 최종 예상 기출 문제를 제공하는 서비스를 제공하고 있음 (SiGHTViSiT)
아쉽게도 관련 paper를 찾지 못해, 상기 posting 내용에 대한 신뢰성 등을 판단할 수는 없었습니다. 짐작으론 2차 테스트인 ‘사법시험 기출 예측’에 대한 결과가 잘 나올 경우, 그 결과까지 포함된 논문이 제출되지 않을까 생각됩니다.
다만 확실히 재밌는 점은 RNN을 기반으로 하는 시계열 연관성 예측 연구는 다수 보았으나, 기출 문제에 대한 카테고리화 및 이를 예측하는 과정은 처음 보았으며(그리 어려운 아이디어는 아닐지라도), 해당 회사에서 사업 모델을 잘 잡았다는 생각이 들었습니다.
본 내용에 대한 업데이트는 향후 2차 테스트 결과 발표 확인 후 진행토록 하겠습니다.
Update : 20일 공개된 결과에 따르면, 실제 95개의 출제 문제중 57개를 맞춰, 적중률 60%를 기록함 (단답형 문제 기준).