설명가능한 AI의 진화 "복잡한 예측 과정, 이제 말로 설명한다!"... MIT, AI 예측 과정 말로 풀어주는 익스플링고 개발
매사추세츠공과대학교(MIT) 연구팀은 복잡한 머신러닝 모델의 예측 과정을 사용자들이 쉽게 이해할 수 있도록 돕는 시스템 '익스플링고(EXPLINGO)'를 개발했다. 기존의 모델은 결과만 알려줄 뿐, 왜 그런 예측을 했는지 자세한 과정을 사람이 이해하기 쉬운 방식으로 설명해주지 못했다.
EXPLINGO는 이러한 문제를 해결하기 위해 등장했다. 마치 친절한 선생님처럼, 복잡한 AI의 예측 과정을 쉬운 말로 설명해주는 것이다. 예를 들어, 집값을 예측하는 AI 모델이 있다고 가정해보자. 기존에는 "이 집의 가격은 위치, 크기, 건축 연도 등을 종합적으로 고려했을 때 약 10억 원입니다." 라고만 말해줬다.
하지만 EXPLINGO를 이용하면 "이 집은 주변 학군이 좋고 교통이 편리한 위치에 있어서 가격이 높게 예측되었습니다. 하지만 건축 연도가 오래되었기 때문에 가격이 다소 낮아질 수 있습니다." 와 같이 구체적인 이유와 함께 예측 결과를 설명해준다.
샘플 NARRATOR 입력 및 출력. 파란색 항목은 NARRATOR에 전달된 프롬프트를 구성하여 ML 설명을 주택 가격 책정 사례에 대한 내러티브로 변환한다. 녹색 항목은 NARRATOR LLM이 이 프롬프트를 기반으로 생성할 수 있는 내러티브다. 출력 지침과 같은 일부 구성 요소는 DSPy에서 제공한다.(출처:논문)
EXPLINGO는 두 가지 주요 구성 요소로 이루어져 있다. 첫 번째는 'NARRATOR(내레이터)'로, 대형언어모델(LLM)을 사용해 사용자의 요구와 선호도에 맞춘 서술형 설명을 생성한다.
두 번째는 'GRADER(그레이더)'로, NARRATOR가 생성한 서술형 설명의 간결성, 정확성, 완전성, 유창성을 평가한다. LLM을 활용해 NARRATOR의 설명과 SHAP 기반 설명을 비교하며, 자동으로 평가를 수행한다.
연구팀은 9개의 머신러닝 데이터셋을 활용해 시스템의 성능을 평가했다. 그 결과, EXPLINGO가 다양한 스타일의 서술형 설명을 고품질로 생성할 수 있음을 확인했다. 특히, 수작업으로 작성된 몇 가지 예제를 제공했을 때 설명 스타일이 크게 개선되었다.
하지만 "더 크다"와 같은 비교 단어를 GRADER가 오류로 인식하는 문제도 발견되었다. 앞으로 EXPLINGO 시스템은 이러한 비교적 표현을 더 효과적으로 처리하고, 설명에 대한 정당성을 추가하여 사용자가 모델의 예측 논리를 더 명확히 이해할 수 있도록 확장될 예정이다.
EXPLINGO(개발 논문: 익스플링고: 대규모 언어 모델을 사용하여 AI 예측 설명-다운) 는 AI를 활용한 의사결정 과정에서 혁신적인 도구로 자리 잡을 것으로 전망된다. 의료 진단 결과를 환자에게 설명하거나, 금융 투자 분석 결과를 고객에게 제시할 때, 혹은 자율 주행 시스템의 판단 과정을 사용자에게 설명할 때 유용하게 활용될 수 있다.
궁극적으로는 사용자가 AI의 예측에 대해 추가 질문을 하고, 자신의 직관과 AI의 직관 간 차이를 빠르게 파악할 수 있는 대화형 시스템으로 발전할 것으로 기대된다. 이는 AI의 설명 가능성을 높여, 인간과 AI의 협력을 증진시키고 더 나은 의사결정을 지원할 수 있을 것이다.
출처 : 정한영, 인공지능신문(https://www.aitimes.kr)
뉴스 바로가기 : https://www.aitimes.kr/news/articleView.html?idxno=33235
