Étiquette : caches-kv

amazon-sagemaker-inference-gatewayLes systèmes d'inférence générative fonctionnent sous une tension physique constante entre la capacité de mémoire des puces et les exigences de latence imposées par les utilisateurs finaux. Les caches KV (Key-Value) stockent le contexte précédent dans la VRAM de la GPU. Les équilibreurs de charge traditionnels de Kubernetes distribuent les requêtes sans visibilité sur l'état interne des caches KV, entraînant une saturation asymétrique des nœuds. Amazon SageMaker Inference Gateway, un add-on Kubernetes-native, surveille l'utilisation des caches KV et dirige les requêtes vers les pods disposant de l'espace résiduel nécessaire, évitant ainsi le redémarrage des conteneurs et la perte de l'état. Dans les environnements distribués où les modèles dépassent plusieurs centaines de milliards de paramètres, chaque milliseconde perdue dans le swapping de mémoire se traduit par une dégradation de l'expérience utilisateur et une augmentation des coûts computationnels.