경제용어사전

Open Ko-LLM 리더보드

[Open Ko-LLM LeaderBoard]

한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하는 한국어 대규모 언어모델(LLM) 평가 체계.

2023년 9월 민관협력을 통해 개설된 국내 최대 개방형 한국어 LLM 평가 벤치마크로, 추론 능력, 상식 능력, 언어 이해 종합능력, 환각현상 방지 능력, 한국어 상식 생성 능력 등 5가지 기준으로 평가해 순위를 매긴다.

산·학·연 각계 분야에서 24년 7월 말 기준 1,700개가 넘는 LLM 모델이 제출되어 경쟁하는 등 많은 관심과 참여가 지속되고 있다.

LLM 기술이 빠르게 발전함에 따라 1년 전에 만들어진 리더보드 벤치마크(평가지표)의 개선 필요성이 대두되어 2024년 8월 12일 추론 능력, 감성 이해 능력, 무해성 능력 등으로 평가 지표가 전면 개편되었다.

  • O2O[online to offline]

    스마트폰 등 온라인으로 상품이나 서비스 주문을 받아 오프라인으로 해결해주는 서비스. 배달음...

  • OCP[Open Compute Project]

    2011년 페이스북(현 메타)이 주도하여 설립한 비영리 단체로, 데이터센터 관련 주요 기업...

  • OPEC 바스켓 가격[OPEC basket price]

    OPEC 회원국들이 생산하는 7개 대표 유종(油種)의 가격을 가중평균한 원유가격을 말하며 ...

  • ODF[Open Document Format]

    프로그램 상의 모든 문서양식을 표준화하는 공개기준으로 오픈 소스 프로그램을 기반으로 한다....