용어사전

Open Ko-LLM 리더보드

[Open Ko-LLM LeaderBoard]

한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하는 한국어 대규모 언어모델(LLM) 평가 체계.

2023년 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 LLM 평가 벤치마크로, 추론 능력, 상식 능력, 언어 이해 종합능력, 환각현상 방지 능력, 한국어 상식 생성 능력 등 5가지 기준으로 평가해 순위를 매긴다.

산·학·연 각계 분야에서 24년 7월 말 기준 1,700개가 넘는 LLM 모델이 제출되어 경쟁하는 등 많은 관심과 참여가 지속되고 있다.

LLM 기술이 빠르게 발전함에 따라 1년 전에 만들어진 리더보드 벤치마크(평가지표)의 개선 필요성이 대두되어 2024년 8월 12일 추론 능력, 감성 이해 능력, 무해성 능력 등으로 평가 지표가 전면 개편되었다.