Compute (poder computacional) em IA

O que quer dizer compute em IA?

🌱 Em uma frase: compute é o "músculo" de processamento que faz um modelo de IA existir e funcionar.

A palavra vem do inglês e, no meio da IA, é usada como substantivo: "ter mais compute" significa ter mais chips e mais capacidade de cálculo à disposição.

Esse poder computacional aparece em dois momentos diferentes:

• Treino: é quando o modelo é criado. Exige muitos aceleradores, que são chips feitos para esse tipo de cálculo, funcionando por longos períodos. O limite está no tamanho do cluster (o conjunto de máquinas ligadas entre si), na rede, na memória e nos dados disponíveis.
• Inferência: é o uso do modelo, cada vez que alguém faz um pedido. Aqui pesam o número de pedidos, o tamanho do contexto (quanto texto o modelo lê de uma vez), quantos tokens ele gera e a rapidez esperada. Tokens são os pedaços de texto que o modelo processa.

O AI Index 2026 da Stanford HAI usa o gasto anual com compute como indicador de quanto as empresas compram para "treinar e operar modelos em escala". Segundo o relatório, esse gasto vem em grande parte de capacidade de nuvem alugada, e não de data centers próprios. O gasto informado de OpenAI e Anthropic cresceu bastante de 2024 para 2025.

Como se mede o compute e quem tem mais?

🔎 Já uso: como existem chips de vários tipos, a Epoch AI converte tudo para uma unidade comum, o H100e. É o equivalente a uma GPU Nvidia H100. Os principais data centers analisados usam Nvidia H100, H200 e B200, Google TPU v5 e v6 e AWS Trainium2 (Epoch AI, nov/2026).

Alguns números recentes, todos estimativas e não medições auditadas:

• Colossus 2, da SpaceX/xAI, em Memphis, era o maior data center conhecido por capacidade: 1,112 milhão de H100e. O dado é de 6 de novembro de 2026 (Epoch AI).
• O maior por potência elétrica era o complexo Anthropic–Amazon em New Carlisle, Indiana, com cerca de 1.037 MW (Epoch AI).
• O campus OpenAI Stargate Abilene teve a estimativa revista de 764 mil para 1,019 milhão de H100e em 12 de novembro de 2026 (atualizações da Epoch AI).
• Em 6 de abril de 2026, a Epoch AI estimou que mais de 60% do compute global de IA pertencia a Amazon, Google/Alphabet, Meta, Microsoft e Oracle. O Google sozinho teria cerca de 5 milhões de H100, aproximadamente 25% do total mundial (Epoch AI).
• Desde 2022, cerca de 72% do compute de IA foi instalado nos Estados Unidos e aproximadamente 10% na China, segundo a Epoch AI.

🚀 Já sou mais avançado: o H100e serve para comparar arquiteturas diferentes. Ele não equivale ao desempenho real em um treino ou serviço específico. Possuir chips também não é o mesmo que usá-los: parte deles pode estar ociosa, em instalação ou reservada para clientes. A base da Epoch AI estima o compute usado para pesquisa, treino e inferência, mas o material disponível não traz a divisão atual entre essas categorias.

Quais são as confusões comuns sobre compute?

1. Custo de compute não é preço de API. A Nvidia afirmou em setembro de 2026 que sistemas com Blackwell B200 podem chegar a cerca de US$ 0,02 por milhão de tokens. Disse também que provedores como Baseten, DeepInfra, Fireworks AI e Together AI tiveram reduções de até 10 vezes ao migrar de Hopper para Blackwell (Nvidia). São números do próprio fabricante.

Já o preço cobrado do cliente inclui margem, operação, suporte, segurança e capacidade reservada. Na página de preços da OpenAI, por exemplo, o gpt-6.1-sol custa US$ 1 por milhão de tokens de entrada e US$ 5 de saída, e o gpt-6-astra custa US$ 5 e US$ 25 (verificado em nov/2026). Os dois números medem coisas diferentes, então não dá para dividir um pelo outro e dizer quantas vezes a API é "mais cara". Para escolher um modelo, compare os preços publicados por mais de um provedor para a sua tarefa.

2. "Até 10 vezes" não vale para todo caso. A Nvidia anunciou a plataforma Rubin em 5 de janeiro de 2026 e disse que ela pode reduzir o custo por token em até 10 vezes em relação à Blackwell, em certos usos de inferência (Nvidia). É uma projeção do fabricante. O resultado real depende do modelo, do contexto, da ocupação do cluster, do software e do preço da energia.

3. Compute não é só GPU. O Google usa principalmente TPUs próprias. Os embarques de TPUs da Broadcom cresceram cerca de 65% trimestre a trimestre, para aproximadamente 800 mil chips (Epoch AI, 9 nov 2026). A Amazon combina GPUs Nvidia e Trainium.

4. Mais compute não sai de graça. Segundo a Epoch AI, o investimento em ativos fixos de Microsoft, Amazon, Alphabet, Meta e Oracle estava a caminho de superar o fluxo de caixa operacional dessas empresas no terceiro trimestre de 2026.