터보퀀트
[TurboQuant]대규모 언어모델(LLM)의 핵심 메모리 병목 구간인 KV(Key-Value) 캐시를 정확도 저하 없이 고효율로 압축하는 구글의 AI 메모리 최적화 기술이다.
구글 리서치가 2026년 3월 공개했으며, ICLR 2026에서 정식 발표될 예정이다.
기존 벡터 양자화(vector quantization) 방식은 압축 과정에서 발생하는 계산 오버헤드로 인해 실제 추론 효율 개선 폭이 제한적이었다.
터보퀀트는 폴라퀀트(PolarQuant)와 QJL(Quantized Johnson-Lindenstrauss) 기반 압축 기법을 결합해 이러한 한계를 줄였다고 설명했다.
구글은 이를 통해 KV 캐시 메모리 사용량을 최대 6분의 1 수준까지 낮추고, 엔비디아 H100 GPU 환경에서 추론 처리량을 크게 향상시킬 수 있다고 밝혔다.
시장에서는 AI 메모리 효율이 급격히 개선될 경우 고대역폭메모리(HBM) 수요 증가 속도에 영향을 줄 수 있다는 분석도 제기되고 있다.
관련어
- 참조어인공지능