구형 고VRAM GPU는 로컬 LLM에 여전히 가치가 있는가

최신 GPU보다 연산효율은 낮지만 VRAM이 큰 구형 GPU가 로컬 LLM에서 여전히 유용한 이유는 무엇인가?

LLM에서는 연산성능만큼 모델이 메모리에 들어가는가가 중요하기 때문에 구형 고VRAM GPU는 여전히 가치가 있다.

더 큰 모델이나 높은 정밀도, 긴 KV Cache를 GPU에 유지할 수 있다. 최신 저VRAM GPU가 이론상 빠르더라도 모델 일부를 CPU로 offload하면 전체 latency가 크게 증가할 수 있다.

전력효율이 낮고 FP8 같은 최신 tensor format 지원이 부족할 수 있다. 최신 kernel 최적화와 software support도 점차 불리해질 수 있다.

동시 사용자가 적고 token/s가 절대적으로 중요하지 않다면 저렴한 중고 고VRAM GPU는 비용 대비 큰 모델을 실행하는 방법이 될 수 있다.

구형 고VRAM GPU의 가치는 최신 benchmark가 아니라 VRAM당 가격에서 나온다. 다만 전력비와 software 지원까지 포함해 판단해야 한다.