HBM 4,8 TB/s : Dépasser les FLOPS par le Decode LLM
data-centerL'efficacité de l'inférence LLM est limitée par la bande HBM lors du decode. L'optimisation architecturale révèle une saturation mémoire qui impacte le throughput.
Read Report →