오픈AI ‘GPT-4‘, 대한민국 ‘한의사‘ 국가시험 통과했다...가천대 한의대 김창업 교수 연구팀 확인
2022년 한의사 국가시험에 포함된 340 문항을 GPT-4에 제시한 뒤 GPT-4의 정답률을 평가..특화된 프롬프트 엔지니어링을 통한 예측 성능 향상 보여, 한국 특수성 반영하지 못하는 약점도 발견해
가천대학교(총장 이길여) 한의과대학 김창업 교수 연구팀은 오픈AI 생성 인공지능(generative AI)인 GPT-4가 한의학 데이터에 대한 특별한 훈련 없이 한의사 국가시험을 통과하는 성능을 나타냈다고 밝혔다.
기존 연구에서는 GPT-4가 한의사 국가시험을 간발의 차로 합격하지 못했던 반면, 이번 연구에서는 언어모델에게 문항을 제시하는 방식을 최적화하여 모델의 성능을 극대화하는 기법인 프롬프트엔지니어링(prompt engineering)을 활용해 합격 수준에 도달했다.
김교수 연구팀은 2022년 한의사 국가시험에 포함된 340 문항을 GPT-4에 제시한 뒤 GPT-4의 정답률을 평가했다. 그 결과 GPT-4는 전체 문항 중 66.18%의 문항에 대해 정답을 맞추었으며, 각 과목에 대해서도 과목별 과락 기준인 40%보다 높은 정답률을 나타냈다.
구체적으로, 본초학(한의학에서 활용되는 약재에 대한 학문), 소아과학, 부인과학에 대해서는 각각 87.5%, 81.2%, 79.2%의 높은 정답률을 나타냈다. 반면 한국 한의학의 특성을 반영하는 보건의약관계법규, 상한론- 사상의학은 각각 40.0%, 43.8%의 상대적으로 낮은 정답률을 나타냈다.
출처 : 박현진기자, 인공지능신문(https://www.aitimes.kr)
뉴스바로가기 : https://www.aitimes.kr/news/articleView.html?idxno=29827
