터보퀀트
[TurboQuant]터보퀀트는 구글(Google) 연구진이 공개한 인공지능 추론 최적화 알고리즘으로, 거대언어모델(LLM)이 답변을 생성할 때 사용하는 임시 저장 공간인 KV 캐시(KV cache)를 초저비트로 압축해 메모리 사용량과 연산 부담을 줄이는 기술이다.
생성형 인공지능은 대화가 길어질수록 이전 문맥을 유지하기 위해 핵심 정보를 계속 저장하는데, 이 공간을 KV 캐시라고 한다. 터보퀀트는 이 데이터를 기존 16비트 또는 8비트 대신 3비트 수준까지 압축하면서도 정확도 저하를 매우 작게 유지하도록 설계됐다.
핵심은 데이터를 단순히 줄이는 것이 아니라 숫자의 배열 구조를 효율적으로 재배치해 압축 효율을 높이는 방식이다. 이를 통해 같은 GPU 메모리 안에서 더 긴 문맥을 처리하거나 더 많은 사용자를 동시에 지원할 수 있으며, 일부 실험에서는 특정 연산 속도가 크게 향상되는 결과도 나타났다 ⚡
이 기술이 주목받는 이유는 AI 서버에 필요한 고대역폭메모리(HBM, High Bandwidth Memory) 수요에 영향을 줄 수 있다는 해석 때문이다. 서버 한 대당 필요한 메모리 양이 줄어들면 삼성전자와 SK하이닉스 같은 메모리 반도체 기업의 실적 전망에도 변화가 생길 수 있다는 분석이 나온다.
다만 실제 산업에서는 메모리를 절감한 만큼 더 많은 인공지능 서비스가 확대될 가능성이 커, 장기적으로는 오히려 전체 메모리 수요가 늘어날 수 있다는 저본스 역설(Jevons paradox) 해석도 함께 제기된다
관련어
- 참조어인공지능