amazon-sagemaker-inference-gateway
KV缓存的瓶颈
生成式推理系统始终处于芯片内存容量与终端用户延迟需求之间的物理张力中。当语言模型生成文本时，先前上下文会被存储在称为键值（KV）缓存的结构中，直接驻留在GPU的VRAM内。基于轮询或最小连接算法的传统Kubernetes负载均衡器，在分配请求时缺乏对这些累加器内部状态的可见性。结果导致非对称饱和：某些节点达到内存限制并启动向系统RAM的交换操作——一个放大响应时间的瓶颈——而其他节点则处于低利用率状态。
这种结构性低效通过Amazon SageMaker Inference Gateway的发布得到解决，这是一个原生Kubernetes附加组件，专为管理专用集群级别的路由而设计。该干预不仅限于网络负载平衡，还引入了感知逻辑，监控KV缓存的实际使用情况以及内存中加载的LoRA适配器的存在。系统将请求导向具有足够剩余空间以容纳新生成上下文的Pod，避免容器重启和状态丢失。
问题的具体性可通过对等待时间的直接影响进行衡量。在分布式环境中，当模型参数超过数百数十亿时，每毫秒的内存交换损失都会导致用户体验的明显下降，并增加不必要的计算成本。AWS提出的解决方案将焦点从节点可用性转移到芯片内部逻辑容量的可用性。
动态路由与模型感知
新插件底层技术架构作为智能中间层，介于请求入口与推理Pod之间。与静态机制不同，网关会分析每个实例上加载的LoRA适配器（Low-Rank Adaptation）状态。当某个请求需要特定模型且该模型适配器已存在于饱和节点内存中，但另一个空闲节点上存在该适配器时，动态路由机制会将请求导向该空闲节点。
此机制消除了cold start（冷启动），即新容器启动时下载模型权重并初始化数据结构所需的长时间等待。主动内存管理确保资源高效复用，在维持模型运行的同时减少冷启动次数并优化内存使用效率。
Domenico Adornato 在 Unsplash 上的图片
⎈ 多智能体生成内容，遵循 Human-in-Command 协议
在知识安全框架下运行。阅读 操作声明书
> 系统验证层
通过可重复的查询检查数据、来源和影响。