경제용어사전

Open Ko-LLM 리더보드

[Open Ko-LLM LeaderBoard]

한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하는 한국어 대규모 언어모델(LLM) 평가 체계.

2023년 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 LLM 평가 벤치마크로, 추론 능력, 상식 능력, 언어 이해 종합능력, 환각현상 방지 능력, 한국어 상식 생성 능력 등 5가지 기준으로 평가해 순위를 매긴다.

산·학·연 각계 분야에서 24년 7월 말 기준 1,700개가 넘는 LLM 모델이 제출되어 경쟁하는 등 많은 관심과 참여가 지속되고 있다.

LLM 기술이 빠르게 발전함에 따라 1년 전에 만들어진 리더보드 벤치마크(평가지표)의 개선 필요성이 대두되어 2024년 8월 12일 추론 능력, 감성 이해 능력, 무해성 능력 등으로 평가 지표가 전면 개편되었다.

  • OCAPTM TV

    OCAPTM 규격의 서비스를 제공할 수 있는 TV를 말한다. OCAPTM규격을 통해 케이블...

  • OECD 개발원조위원회[OECD Development Assistance Committee, OECD DAC]

    OECD의 24개 전문분야별 위원회의 하나로 개도국에 대한 원조 확대 및 활동의 효율성을 ...

  • OPW 에어백[one piece woven airbag]

    봉제과정 없이 제직상태에서 한번에 만든 에어백. 주로 차량의 측면 에어백으로 사용된다. 충...

  • OCP[Open Compute Project]

    2011년 페이스북(현 메타)이 주도하여 설립한 비영리 단체로, 데이터센터 관련 주요 기업...