용어사전

대규모언어모델

[Large Language Mode, LLM]

방대한 텍스트 데이터를 학습해 자연어를 처리하고 생성하는 인공지능 모델. 대부분 트랜스포머 구조를 기반으로 하며, 대규모 학습 데이터와 많은 수의 매개변수(파라미터)를 활용한다.

입력된 문맥을 바탕으로 다음에 올 토큰을 예측하는 방식 등으로 언어의 구조와 사용 패턴을 학습한다. 토큰은 단어 전체일 수도 있고 단어의 일부나 문자일 수도 있다. 학습된 모델은 번역, 요약, 질의응답, 문서 작성, 코드 생성 등 다양한 작업에 활용할 수 있다. 일반적으로 파라미터 수와 학습 데이터, 컴퓨팅 자원을 확대하면 성능이 향상되는 경향이 있지만, 데이터의 품질과 모델 구조, 학습 방식도 성능을 좌우한다. 학습과 운영에 많은 컴퓨팅 자원과 전력이 필요하고, 사실과 다른 내용을 그럴듯하게 생성하는 환각이 발생할 수 있다는 점이 한계로 지적된다.

오픈AI의 GPT, 구글의 제미나이, 앤스로픽의 클로드 등이 LLM을 기반으로 발전한 대표적인 모델군이다. 국내에서는 네이버가 하이퍼클로바X를, LG AI연구원이 엑사원을 개발하고 있다.

관련어

• 참조어생성형 AI, 파운데이션 모델, 키미 K3, AI 네이티브, K-엑사원 2.0