멀티모달
[multi modal]텍스트, 이미지, 음성, 영상 등 다양한 데이터 양식 (modality)을 함께 처리하는 것을 의미한다.
멀티모달 시스템은 텍스트, 이미지, 오디오, 비디오 등 다양한 유형의 입력을 동시에 처리할 수 있는 능력을 가지고 있다.
따라서 멀티모달 AI는 하나의 모달리티를 활용하는 것보다 다양한 작업을 수행할 수 있다.
예를 들어, 이미지로 텍스트 검색을 하거나 텍스트에서 이미지를 검색, 혹은 이미지와 텍스트를 같이 이해하는 멀티모달 검색이 가능하다. 또한 2023년 등장한 대규모멀티모달모델(LMM)은 이미지를 보고 텍스트를 생성하거나 텍스트 기반으로 이미지를 생성하기도 한다.
멀티모달 AI는 인간의 자연스러운 의사소통 방식을 모방한 기술로, 사용자와 컴퓨터 간의 상호 작용을 더욱 자연스럽고 직관적으로 만든다. 또한, 다양한 데이터 모달리티를 활용함으로써 더 많은 정보를 처리하고 더 정확한 결과를 도출할 수 있다.
관련어
- 참조어대규모 멀티모달모델