KVarN: Huaweis native vLLM KV-cache-kvantisering

Huawei har sluppet KVarN, en ny back end for KV-cache-kvantisering i vLLM. Prosjektet er publisert som åpen kildekode på GitHub.

Kilde: https://github.com/huawei-csl/KVarN