고가 인프라·고속네트워크 없어도 대단위 AI 학습 가능!... KAIST, 분산 학습 프레임워크 ‘스텔라트레인‘ 공개
최근 대형언어모델(LLM)은 자연어 처리뿐 아니라 이미지 및 비디오 처리를 포함한 멀티모달 학습 및 강화 학습 등 다양한 분야에서 AI의 중추로 자리매김 하고 있다.
그러나, LLM은 수백억 개의 파라미터를 통해 고성능을 달성하며, 학습을 위해 대당 수천만 원이 넘는 고성능 서버형 GPU, 고속 GPU 전용 네트워크(NVLink, NVSwitch) 등 고비용 인프라에 의존하여 일부 거대기업의 전유물이 되었다.
반면 다수의 연구자들은 가격이 1/10에 불과한 일반 소비자용 GPU를 활용하나, 이 경우에도 LLM을 단순 로드하기 위해 GPU가 수십 대 필요할 뿐만 아니라 네트워크 대역폭 및 메모리 제약으로 GPU 이용률이 하락하여 학습에 어려움을 겪는다.
기존 저비용 분산 딥러닝 환경에서는 네트워크 제약으로 인해 멀티 클러스터 및 하이브리드 클라우드 환경에서 학습 시 GPU 이용률이 저하되고, 학습 시간과 클라우드 비용이 증가하는 문제가 있다.
여기에, 국내 연구진이 고가의 데이터센터급 GPU나 고속 네트워크 없이도 인공지능(AI) 모델을 효율적으로 학습할 수 있는 기술을 개발했다. 이 기술을 통해 자원이 제한된 기업이나 연구자들이 AI 연구를 보다 효과적으로 수행할 수 있을 것으로 기대된다.
출처 : 최광민, 인공지능신문(https://www.aitimes.kr)
뉴스바로가기 : https://www.aitimes.kr/news/articleView.html?idxno=32239
