스태빌리티 AI, 현재까지 가장 강력한 이미지 생성 ‘sLLM‘... 16억 개 매개변수의 ‘Stable LM 2 1.6B‘ 오픈소스로 공개
멀티 모달 이미지 생성 AI 모델 개발 및 배포 분야의 혁신적인 스타트업 스태빌리티 AI(Stability AI)는 새로운 경량화 대형언어모델(smaller Large Language Model. 이하, sLLM)로 Stable LM 2 시리즈의 첫 번째 언어 모델인 16억 개 매개변수의 기본 모델로 인스트럭션 튜닝(특정의 지시에 근거해 튜닝한) 버전인 'Stable LM 2 1.6B'모델을 지난 19일(현지시간) 공개했다.
스태빌리티 AI의 이 모델은 현재까지 가장 강력한 sLLM 중 하나로 지난 16일 출시한 'Stable Code 3B(다운)'에 이은 2024년에 출시한 두 번째 모델이다.
'Stable LM 2 1.6B' 모델은 영어, 스페인어, 독일어, 이탈리아어, 프랑스어, 포르투갈어, 네덜란드 등 다국어 데이터를 통합하여 약 2조 개의 토큰으로 학습되었다. 언어 모델링의 최근 알고리즘 발전을 활용하여 속도와 성능 간의 균형을 맞추고, 적당한 리소스로 빠른 실험과 배포를 가능하게 했다.
이번 릴리스에서는 오픈 커뮤니티에서 비슷한 성능의 모델을 재현할 수 있도록 데이터 세부 정보도 함께 제공된다. 이와 함께, 최근 일부 사전 학습된 모델의 경우 최적화 후반 단계로 인해 미세 조정이 어려울 수 있으므로 개발자가 원활하게 사전 학습과 데이터 미세 조정을 계속할 수 있도록 최적화 상태를 포함한 쿨다운 전 최종 사전 학습 체크포인트를 처음으로 공개했다.
앞으로 데이터 조합과 학습 절차에 대해 자세히 설명하는 포괄적인 기술 보고서를 공유할 예정이다.
출처 : 정한영, 인공지능신문(https://www.aitimes.kr)
뉴스바로가기 : https://www.aitimes.kr/news/articleView.html?idxno=30102
