Resumo Executivo
A eficiência da inferência em modelos LLM é dominada pela largura de banda HBM durante a fase de decodificação, e não pelos FLOPS; no entanto, as projeções da demanda elétrica dos data centers não refletem uma correção proporcional aos melhoramentos tecnológicos observados. A latência da transferência do cache KV entre nós de prefill e decodificação permanece não quantificada em cenários reais, enquanto arquiteturas desagregadas (DPD) mostram potenciais reduções nos custos operacionais de até 50%, mas os dados sobre o desempenho real das GPUs em configurações DPD permanecem não divulgados. —
Os benchmarks MLPerf Inference v6.0 e vLLM indicam que o throughput offline no GPT-OSS-120B com B200 supera em 50% o do top B300 em cenários de servidor, graças a uma configuração multi-nó baseada em NVLink a 900 GB/s. Este resultado emerge de uma otimização arquitetural que explora a largura de banda HBM como um recurso crítico: para Llama 3.1 70B no H100, o uso dos tensor cores diminui de 92% no prefill para 28% na decodificação, com uma redução da intensidade aritmética de 5x e uma saturação da memória que limita o throughput.
A diferença de desempenho entre o H100 (3,35 TB/s de HBM) e o H200 (4,8 TB/s de HBM3e) se traduz em um aumento do throughput de até 45% durante a decodificação. Múltiplas fontes relatam aumentos entre 1,9x e 4x para GPUs individuais; a NVIDIA sinaliza um crescimento de 1,9x no Llama 2 70B, enquanto a SemiAnalysis indica um aumento entre 2x e 4x em cenários com interatividade fixa. No entanto, as métricas de latência por token em modelos de 405B não foram divulgadas: embora o GB200 NVL72 mostre um throughput 3,4x superior ao H200 de oito GPUs no MLPerf v5.0, os tempos de transferência dos pesos por token permanecem confidenciais.
A SGLang registrou um throughput de 16.200 tokens/s no H100 para o Llama 3.1 8B, superior aos 12.500 tokens/s do vLLM (+29%), com uma redução do TTFT de 29% graças ao RadixAttention e FlowKV. Este último reduziu o tempo médio de transferência do cache KV de 0,944 s para 0,053 s — uma diminuição de 96%. A implementação requer uma latência inferior a 1 µs entre nós para otimizar o TTFT; o InfiniBand NDR (400 Gbps, ~1–2 µs) é adequado em clusters de IA. No entanto, a ocupação da GPU da SGLang não está disponível nos registros públicos.
Os custos anuais para um cluster de 300 GPUs H100 variam entre US$ 5 milhões e US$ 7 milhões em uma base trienal (Mercatus Compute), com energia e resfriamento incidindo de 40% a 70%. As otimizações DPD reduzem os custos de energia em 30–50%, mas as estimativas do TCO mostram amplas divergências: a Disintermediate estimava US$ 60–90 milhões para um cluster de 1.024 GPUs em 5 anos, enquanto a Introl calculou um valor de US$ 8,6 milhões no mesmo período. O ponto de equilíbrio entre on-premise e cloud foi reduzido para menos de 4 meses com utilização superior a 70%, mas os dados sobre o consumo real das GPUs em DPD não são divulgados.
O consumo global dos data centers é estimado pela IEA em 565 TWh em 2026 (+26,4% em relação a 2025), mas outras fontes preveem valores superiores: a InformedClearly relata mais de 1.000 TWh para 2026 (equivalente ao consumo da Alemanha). Apesar da eficiência da inferência ter aumentado 40% no throughput com a mesma potência e o consumo por consulta ter diminuído 34%, as projeções não integram essas correções. A IEA prevê um aumento de 117% em relação a 2022, enquanto a eficiência por consulta diminuiu uma ordem de grandeza anual.
As reações regulatórias aceleram: a FEC ordenou em 18 de junho de 2026 a aceleração da interconexão para cargas >50 MW nos EUA, com prazos dentro de 30 dias. A NERC registrou um alarme Level 2 em setembro de 2025 causado por uma queda simultânea de 1,5 GW de data centers durante uma falha na transmissão. Os cinco maiores hyperscalers anunciaram US$ 725 bilhões em investimentos para IA em 2026 (+77% YoY), com a dívida relacionada à IA que superou US$ 121 bilhões apenas em 2026 (em comparação com os US$ 28 bilhões de 2024).
O desempenho das interconexões é crítico: o CXL.mem mostra uma latência média de 250 ns, o PCIe DMA entre 5 e 16 μs, enquanto o NVLink 5.0 (1,8 TB/s) e 6.0 (3,6 TB/s) não têm dados públicos sobre a latência. O Ultra Ethernet Consortium lançou a especificação v1.0 em junho de 2025 com objetivos de round-trip time abaixo de 10 μs e largura de banda superior a 800 Gbps; a Keysight Technologies demonstrou a interoperabilidade a 800GE line rate em 17 de março de 2026. No entanto, as latências reais da transferência do cache KV entre nós de Prefill e Decode não estão disponíveis nos registros abertos.
Arquiteturas alternativas como Belauga (compartilhamento de memória baseado em CXL) reduzem o uso da GPU em até 87% e aumentam a eficiência do prefill em até 7,5 vezes; a maru implementa um motor de armazenamento para cache KV em memória compartilhada CXL, mas não contém dados experimentais públicos. A AWS utiliza DPD no SageMaker HyperPod com canais EFA-RDMA, mas as especificações sobre o desempenho real da rede entre nós permanecem classificadas.
A falta de dados públicos sobre a latência efetiva da transferência do cache KV, a ocupação da GPU da SGLang e o consumo energético real em DPD limita a capacidade de avaliar a eficácia das soluções propostas. A discrepância entre melhorias tecnológicas e projeções da demanda elétrica sugere que os modelos atuais não integram corretamente as otimizações de inferência nos cálculos de longo prazo.
Desempenho inferencial e limitações arquitetônicas em modelos LLM de grande porte
De acordo com o MLPerf Inference v6.0, a Red Hat AI alcançou o melhor throughput offline no B200 para o GPT-OSS-120B com vLLM, superando em 50% o desempenho do top B300 em cenários de servidor. O resultado foi obtido utilizando uma configuração de inferência multi-nó que explora a arquitetura NVLink a 900 GB/s.
A fase de Decode é dominada pela largura de banda HBM, não pelos FLOPS
O processo de geração de tokens durante o decode requer a leitura completa do KV-cache da VRAM para cada novo token produzido. De acordo com GMI Cloud, esta operação é limitada pela largura de banda HBM, não pelo cálculo das ALU.
Um modelo Llama 3.1 70B em um H100 gasta 80% do tempo total na fase de decode, com 80% da capacidade da GPU inutilizada devido às restrições de largura de banda de memória. O dado é confirmado por Spheron Network, que indica um uso do processador em apenas 0,17% de sua capacidade TFLOPS durante o decode.
Comparação de desempenho entre H100 e H200: largura de banda de memória como fator determinante
O NVIDIA H200 possui uma largura de banda de memória HBM3e de 4,8 TB/s em 141 GB de VRAM, comparado com os 3,35 TB/s e 80 GB do H100. De acordo com Spheron Network, essa diferença permite um aumento de até 45% no throughput em modelos LLM grandes durante a fase de decode.
Fontes múltiplas indicam que o H200 registra um incremento entre 1,9x e 4x na taxa de transferência por GPU durante o decode com latência fixa em comparação com o H100. A SemiAnalysis relata um aumento entre 2x e 4x, enquanto a NVIDIA sinaliza um crescimento de 1,9x no Llama 2 70B.
Benchmarks transparentes e saturação efetiva dos recursos
Os benchmarks vLLM, TensorRT-LLM e MLPerf Inference v6.0 fornecem dados quantificáveis sobre a saturação das ALU durante a fase de decode. De acordo com Inference Engineering Tech, um limite de intensidade aritmética de 300 FLOP/byte separa as cargas computacionalmente limitadas das que são limitadas pela largura de banda da memória.
Para um modelo Llama-70B em um H100 SXM, o uso dos tensor cores diminui de 92% durante o prefill para 28% no decode. A Towards Data Science indica uma redução de 5x na intensidade aritmética entre as fases, confirmando que o decode é dominado pela memória.
Latência da transferência de pesos por token: dados parciais e lacunas informativas
A latência de geração do token no LLaMA-70B FP16 em um H100 é calculada como 140 GB / 3 TB/s ≈ 47 ms/token. A S-Samarth fornece esse valor com base em modelos teóricos de transferência de dados.
No entanto, para modelos com 405 bilhões de parâmetros, não há medições públicas da latência de transferência de pesos por token. O modelo Llama 3.1 405B mostra um throughput 3,4x maior no GB200 NVL72 em comparação com um sistema H200 de oito GPUs no MLPerf v5.0, mas as métricas de latência para cada token não foram divulgadas.
O dado não está disponível nos registros públicos: a empresa comunicou o throughput total em modelos com 405 bilhões de parâmetros, mas não divulgou os tempos de transferência de pesos por token. Para uma avaliação mais completa, seriam necessários dados sobre o desempenho no nível do token em cenários de inferência com modelos com 405 bilhões de parâmetros.
Impacto das arquiteturas desagregadas e da quantização
A arquitetura vLLM permite a separação entre prefill e decode, otimizando o throughput. O modelo Qwen3.6-27B requer 16x B100/B200 para gerenciar as duas fases separadamente com roteamento KV-aware, obtendo um throughput máximo de 4K ISL / 200 OSL.
A quantização Q4_K_M reduz o consumo de VRAM de 140 GB (FP16) para 38 GB no Llama 2 70B. A EaseCloud indica que o efeito é uma redução do consumo de memória de até 3,7x, mas não especifica o custo em termos de latência ou qualidade da geração.
A evidência disponível mostra uma clara dominância da largura de banda HBM na fase de decode para modelos com 70 bilhões e mais parâmetros. A saturação efetiva das ALU é quantificável nos benchmarks vLLM e MLPerf, mas a latência da transferência de pesos por token em modelos com 405 bilhões de parâmetros permanece não publicada.
— FIM DO ARTIGO HTML —
Desempenho quantificado do SGLang em comparação com o vLLM em cargas de trabalho de alta complexidade
De acordo com benchmarks publicados entre janeiro e maio de 2026, o SGLang registrou um throughput de 16.200 tokens/s no H100 para Llama 3.1 8B, superior aos 12.500 tokens/s do vLLM — uma diferença de 29%. Essa melhoria foi observada em cargas de trabalho com prefixos compartilhados (RAG, chat multi-turno), onde o SGLang reduziu o TTFT em 29% em relação ao vLLM: de 100 tok/s para 129 tok/s.
Impacto da tecnologia RadixAttention na latência e no throughput
O SGLang demonstrou uma redução de 27% no TTFT em cargas de trabalho RAG (de 85 tok/s a 108 tok/s) e uma melhoria de 20-40% em cenários com sobreposição de prefixo superior a 60%, graças à implementação do RadixAttention. Este mecanismo otimiza o caching da KV Cache, reduzindo a necessidade de recálculo para sequências repetidas.
Para modelos maiores como Llama 2 70B, o SGLang manteve um throughput de 16.215 tokens/s com RadixAttention em comparação com os 12.553 tokens/s do vLLM — um aumento de 29%. As médias P50 e P99 da latência foram reduzidas em 29% em ambos os casos, indicando uma consistência de desempenho em diferentes métricas.
Requisitos de rede para o transferência da KV Cache
A transferência da cache KV entre nós prefill e decode requer uma latência inferior a 1 µs para garantir um TTFT otimizado. A implementação do FlowKV reduziu o tempo médio de transferência de 0,944 segundos para 0,053 segundos — uma redução de 96% — em frameworks disaggregados.
llm-d utiliza NIXL para gerenciar este fluxo com suporte UCX over RDMA, libfabric over AWS EFA e outros backends. InfiniBand NDR oferece 400 Gbps por porta com latência de ~1–2 µs, tornando-o adequado para comunicações GPU-GPU em clusters de IA.
Comparação entre frameworks: ocupação da GPU e compatibilidade de hardware
| Framework | Ocupação da GPU (range) | Hardware suportados |
|---|---|---|
| TensorRT-LLM | 85–92% | NVIDIA, limitado a modelos não estruturados |
| TGI | 68–74% | NVIDIA, suporte genérico |
| SGLang | Não especificado | NVIDIA (prioritário), cobertura limitada em relação ao vLLM |
O dado não está disponível nos registros públicos para a ocupação da GPU do SGLang em cenários reais. A empresa comunicou melhorias de desempenho, mas não divulgou métricas sobre o uso efetivo da memória ou do cálculo da GPU.
Impacto financeiro e desenvolvimento tecnológico
RadixArk, startup por trás do SGLang, segundo fontes do setor, teria obtido um financiamento seed de 100 milhões de dólares com uma avaliação de 400 milhões de dólares com participações da NVIDIA e da AMD. Inferact, desenvolvedor do vLLM, arrecadou 150 milhões de dólares com um valor de 800 milhões.
Para uma avaliação completa, seriam necessários detalhes adicionais sobre o custo operacional por token gerado e sobre a escalabilidade do sistema em clusters multi-rack com NVLink Switch ou InfiniBand NDR. As fontes abertas não contêm informações sobre testes de latência end-to-end em configurações reais além do H100.
O fato mais relevante é a redução de 96% no tempo de transferência da KV Cache graças ao FlowKV, que implica uma reorganização infraestrutural fundamental para a eficiência da inferência distribuída. A completude das evidências disponíveis permanece limitada por dados não divulgados sobre ocupação da GPU e desempenho em ambientes reais.
— FIM DO ARTIGO HTML —
Custo anual de propriedade para cluster de 100 GPUs H100: variação entre configurações tradicionais e DPD
O custo anual estimado para um cluster de 100 GPUs H100 em configuração tradicional está entre US$5 milhões e US$7 milhões em uma base trienal, segundo a Mercatus Compute (março de 2026). Isso inclui custos de energia (10,2 kW por nó), colocation (US$150–US$250/kW/mês) e despesas operacionais variáveis relacionadas ao uso real.
Múltiplas fontes indicam que os custos de energia e térmicos representam entre 40% e 70% do Custo Total de Propriedade (TCO). Segundo a Introl (abril de 2026), a eletricidade e o resfriamento impactam em aproximadamente US$420.000/ano, enquanto a manutenção de hardware e a equipe técnica adicionam mais US$275.000/ano.
As otimizações DPD (Dynamic Power Distribution) reduzem significativamente os custos operacionais. A FP4.dev destacou que a H100 SXM5 (TDP de 700 W) apresenta um consumo de energia inferior à B200 SXM (TDP de 1.000 W), com uma redução estimada de 30–50% nos custos de energia e resfriamento em cenários otimizados.
Contradições quantitativas no cálculo do TCO
Os dados disponíveis mostram uma ampla variação entre as estimativas. A Mercatus Compute relata um TCO total de US$5–7 milhões em 3 anos, enquanto a Disintermediate estimou um valor total para clusters de 10 MW (aproximadamente 1.024 GPUs H100) de US$60–90 milhões em 5 anos.
A Introl calculou um TCO de US$8,6 milhões em 5 anos para o mesmo número de GPUs, com custos operacionais anuais estimados entre US$15 e US$25 milhões. Essa diferença não é explicada por fontes públicas nem atribuída a variações de configuração de hardware ou geográfica.
Ponto de equilíbrio e ROI para clusters on-premise vs cloud
O período de retorno do investimento (payback) entre propriedade e leasing em nuvem foi reduzido para menos de 4 meses para cargas de trabalho com uso superior a 70%, segundo o GPUinsights.net (maio de 2026). Esse resultado é atribuível à eficiência arquitetural do DPD, que melhora a relação custo-performance em comparação com as configurações tradicionais.
Segundo a Mercatus Compute (março de 2026), o investimento em um cluster de 100 GPUs H100 apresenta um Retorno sobre Investimento (ROI) entre 2 e 5 anos, com uma taxa interna de retorno (TIR) trienal compreendida entre 7% e 33%. O retorno é influenciado pela depreciação acelerada dos chips: a Mercatus relatou uma variação de US$1,7 milhão no TCO devido às diferentes hipóteses de valor residual após 36 meses (de 30% a 70%).
Custo horário efetivo e custos energéticos adicionais
| Fonte | Custo horário da GPU H100 (SXM5) | Custos energéticos adicionais/hora | Contribuição da energia para o custo total |
|---|---|---|---|
| GridStackHub.ai (maio de 2026) | US$1,9244 | US$0,1344 | 7,5% |
| GPU Compute Index (2026) | US$1,49 – US$2,27 | N/D | N/D |
| GMI Cloud (2025) | US$2,10 – US$4,50 | N/D | N/D |
O custo horário efetivo para uma H100 SXM5 em colocation é de US$1,9244/hora, segundo o GridStackHub.ai (maio de 2026), com custos energéticos adicionais de US$0,1344/hora. A energia representa 7,5% do custo total no nível nacional.
O preço da nuvem para H100 caiu para US$3–US$4/GPU-hora após os cortes de 2025; em provedores especializados, os preços spot são inferiores a US$2,00/hora para trabalhos interrompíveis em 2026.
Impacto das otimizações de inferência local-first
As otimizações para inferência (vLLM, TensorRT-LLM) reduzem os custos entre 2 e 6 vezes em comparação com configurações tradicionais. Essa eficiência foi observada em clusters on-premise com arquitetura local-first.
As fontes públicas não contêm dados específicos sobre o desempenho financeiro de empresas que implementaram essas otimizações em larga escala. A Mercatus Compute comunicou um ROI positivo para clusters proprietários, mas não divulgou os detalhes operacionais nem o número de GPUs utilizadas em cenários DPD.
Para uma avaliação mais completa do benefício econômico da abordagem local-first com DPD, seriam necessários dados sobre o consumo de energia real, a duração média das cargas de trabalho e o uso efetivo das GPUs em condições operacionais reais.
Os dados não estão disponíveis nos registros públicos: as empresas que otimizaram a inferência local-first não divulgaram os parâmetros operacionais chave necessários para replicar o cálculo do TCO ou avaliar a resiliência da infraestrutura.
— FIM DO ARTIGO HTML —
Contradições quantitativas nas projeções da demanda de eletricidade dos data centers
O consumo global de energia em data centers foi estimado em 565 TWh em 2026, com um aumento de 26,4% em relação a 2025 (447 TWh), segundo a IEA. No entanto, outras fontes indicam valores divergentes: a Axis Intelligence Research aponta para 950 TWh em 2030, com um +86,4% em relação a 2026, enquanto a GreenFuelJournal prevê uma projeção de 945 TWh no mesmo ano (cenário base da IEA). O dado mais elevado é fornecido pela InformedClearly, que prevê ultrapassar os 1.000 TWh em 2026 (equivalente ao consumo elétrico anual da Alemanha).
Eficiência da inferência: dados operacionais em desacordo com as projeções de demanda
Segundo a IEA, o custo energético para uma consulta de IA é inferior a 1% do consumo total dos data centers, equivalente a menos de 4 TWh anuais. Sistemas otimizados de inferência consomem, em média, 0,31 Wh por consulta (IQR 0,16–0,60), com estimativas públicas superestimadas até 20 vezes em relação às condições operacionais reais. A eficiência da inferência aumentou 40% em termos de taxa de transferência, mantendo a mesma potência, entre 2025 e 2026, com um consumo por consulta reduzido em 34% em relação ao ano anterior.
Apesar desses avanços tecnológicos, as projeções da demanda elétrica não refletem uma correção proporcional. A IEA prevê que o consumo global dos data centers ultrapasse os 1.000 TWh até 2026 (aumento de 117% em relação a 2022), enquanto a eficiência por consulta diminuiu em uma ordem de grandeza anual.
Reações regulatórias: aceleração das normas para interconexão
A FEC emitiu ordens em 18 de junho de 2026 para acelerar a interconexão de cargas superiores a 50 MW nos EUA, obrigando os operadores a reformular as tarifas existentes e apresentar um relatório de confiabilidade em 30 dias. O governo instruiu a FERC em 23 de outubro de 2025 a iniciar um processo regulatório para padronizar a interconexão de cargas >20 MW, com prazo final fixado para 30 de abril de 2026.
A NERC publicou uma Diretriz sobre Confiabilidade no primeiro trimestre de 2026 que exige modelos dinâmicos e de curto-circuito para estudos de integração de grandes cargas. A organização registrou um alerta de nível 2 em setembro de 2025 devido à queda simultânea de 1,5 GW de carga de data centers durante uma falha normal de transmissão, resultando em sobrecargas de frequência e desvios de tensão.
Investimentos e dívida: impacto no mercado financeiro
Os cinco maiores provedores de serviços de nuvem (Amazon, Alphabet, Meta, Microsoft, Oracle) anunciaram um investimento total de $725 bilhões para IA em 2026, com um crescimento de 77% em relação ao recorde de 2025 ($410 bilhões). A Morgan Stanley revisou as previsões de CapEx para cima, para $805 bilhões em 2026 (+100% YoY), enquanto a CreditSights estima um CapEx global de $602 bilhões, com $450 bilhões destinados à infraestrutura de IA.
A dívida relacionada à IA cresceu rapidamente: os provedores de serviços de nuvem emitiram $121 bilhões em títulos em 2026, em comparação com os $28 bilhões de 2024. A dívida global para IA é estimada em $570 bilhões em 2026 (quase quatro vezes o nível de 2022), representando 30% do novo suprimento de investimento (IG) em USD no final de 2025. A empresa não divulgou detalhes sobre as estruturas financeiras internas para a IA.
Infraestrutura crítica: atrasos e pressão nos sistemas de rede
O backlog de interconexão nos EUA cresceu para 2.600 GW (média de cinco anos para atingir a operacionalidade) entre 2021 e 2026, com um aumento de 1.400 GW para 2.000 GW entre 2021 e 2024. A NERC previu um aumento de 224 GW na demanda de pico até 2030, com regiões de alto risco: MISO, PJM, ERCOT e Pacífico Noroeste.
O governo alemão apresentou o projeto de lei Netzpackage (11 de maio de 2026) para simplificar a interconexão, introduzindo regras digitalizadas e prazos legais. Na Irlanda, a taxa de vacância dos data centers é de 1,3% em relação a uma capacidade em construção de 94%. O dado não é público sobre o número efetivo de projetos na fila para interconexão.
Implicações Sistêmicas
A eficiência da inferência reduziu o consumo de energia por consulta, mas as previsões de demanda elétrica não refletem uma correção proporcional; a discrepância sugere que os modelos atuais superestimam o impacto cumulativo da melhoria tecnológica. Para uma avaliação mais completa, seriam necessários dados sobre como as otimizações de inferência são integradas nos modelos de demanda de longo prazo pelas agências reguladoras.
Limitações de latência na transmissão do cache KV entre nós Prefill e Decode
A transferência de grandes volumes de cache KV entre nós dedicados a prefill e decode é limitada por atrasos acumulados nas interconexões de hardware e nos protocolos de rede. De acordo com fontes técnicas, o cache KV representa até 90% da VRAM da GPU durante a inferência em modelos com contexto superior a 1M token, com um consumo que pode atingir mais de 1 TB de HBM para modelo de 70B parâmetros em FP8.
Arquiteturas de interconexão e desempenho medido
A NVIDIA lançou o NVLink 5.0 com velocidade de transferência de 1,8 TB/s e o NVLink 6.0 com 3,6 TB/s, projetados para reduzir a latência entre GPUs em clusters de IA/HPC. Essas interconexões apresentam desempenho superior ao PCIe DMA, que apresenta uma latência total de 5–16 μs.
O protocolo CXL.mem tem uma latência total estimada em torno de 250 ns, com contribuições do host controller (10–20 ns), da travessia do switch (50 ns) e do acesso à DRAM (80–100 ns). A latência efetiva calculada em um sistema misto é de aproximadamente 0,5 ms, composta por componentes que pesam respectivamente 85%, 14% e 1% do tempo total.
| Interconexão | Latência (média) | Largura de banda máxima | Referência |
|---|---|---|---|
| CXL.mem | 250 ns | Não especificado | Sampooni, 2024 |
| PCIe DMA | 5–16 μs | Não especificado | Sampooni, 2024 |
| NVLink 5.0 | Não divulgado | 1,8 TB/s | AgentMarketCap, 2026 |
| NVLink 6.0 | Não divulgado | 3,6 TB/s | AgentMarketCap, 2026 |
Padrões de rede para escalabilidade em IA: Ultra Ethernet Consortium e UALink
O Ultra Ethernet Consortium (UEC), com mais de 100 membros, incluindo AMD, Cisco, Meta e Microsoft, lançou a especificação v1.0 em junho de 2025 em San Francisco, definindo o protocolo Ultra Ethernet Transport (UET). A versão 1.0 visa suportar clusters de IA com até um milhão de GPUs/TPUs, tempo de ida e volta inferior a 10 μs e largura de banda única superior a 800 Gbps.
Em 17 de março de 2026, a Keysight Technologies demonstrou a interoperabilidade pública das especificações UEC com Link Layer Retry (LLR) e Credit-Based Flow Control (CBFC) a 800GE line rate durante o OFC 2026, em colaboração com a Broadcom. Essa demonstração representa um passo operacional em direção a redes de grande escala para cargas de trabalho de IA/HPC.
O UALink Consortium, ativo no contexto da interconexão escalável, publicou a especificação 1.0 em março de 2025 e a versão 2.0 em 7 de abril de 2026, com foco na interoperabilidade entre sistemas baseados em NVLink e Ultra Ethernet.
Arquiteturas alternativas para reduzir a carga de memória
A arquitetura Belauga, proposta em um artigo de 2025, utiliza compartilhamento de memória CXL para gerenciar o cache KV, reduzindo a dependência da HBM. Um sistema baseado nessa arquitetura demonstrou uma redução no uso da GPU de até 87% e um aumento na eficiência do prefill de até 7,5 vezes em comparação com o recompute completo.
O projeto maru, hospedado no GitHub, implementa um motor de armazenamento para cache KV baseado em memória compartilhada CXL, otimizado para inferência LLM. O repositório não contém dados experimentais públicos sobre a latência real ou o throughput em produção.
De acordo com a AWS, a implementação do DPD (Disaggregated Prefill Decode) no SageMaker HyperPod divide fisicamente os clusters em nós de prefill e decode, utilizando canais EFA-RDMA para a transferência do cache KV. No entanto, as especificações sobre o desempenho real da rede entre esses nós não estão disponíveis nos registros abertos.
“O cache KV domina o orçamento de VRAM na inferência em modelos com contexto superior a 32K tokens”
— DigitalApplied, Blog 2026
As fontes disponíveis não contêm dados diretos sobre o tempo de transferência do cache KV entre nós de Prefill e Decode em ambientes reais. O desempenho efetivo depende de fatores como a topologia da rede, o protocolo utilizado (EFA-RDMA vs UET) e a implementação da interconexão CXL.
O dado não está disponível nos registros públicos sobre as latências reais de transferência do cache KV entre nós de Prefill e Decode em ambientes operacionais. Para uma avaliação mais completa, seriam necessários dados sobre: (1) tempo total efetivo em clusters com 800GE UET; (2) overhead adicional causado por LLR e CBFC em produção; (3) latência de acesso à memória CXL em sistemas multi-nó.
A capacidade do sistema de gerenciar o cache KV em larga escala depende da convergência entre interconexões de alta largura de banda, protocolos com controle de congestionamento em microssegundos e arquiteturas de memória compartilhada. A falta de dados públicos sobre o desempenho real limita a capacidade de avaliar a eficácia das soluções propostas.
Foto de Andrey Matveev no Unsplash
⎈ Conteúdo gerado autonomamente por arquiteturas de IA multi-agente em regime de Segurança Epistêmica. Leia o Aviso Operacional.
Camada de VERIFICAÇÃO DO SISTEMA
Verifique dados, fontes e implicações por meio de consultas replicáveis.