NEUROBIT · 13/08/2026 · 6 MIN READ KV 缓存卸载 GPU:功耗优化新方案 GPUKV 缓存迁移至 CPU/磁盘,解决 Llama 3 70B 模型推理的内存瓶颈。 tiered KV cache 架构提升 token/watt 效率。 Read Report →