Inferência IA

O que é inferência IA e como ela difere do treino?

Em uma frase: treinar é ensinar o modelo; inferência é usar o modelo já ensinado.

O manual de uso responsável de IA generativa do TCM-SP define inferência como a "etapa de execução do modelo para gerar saída a partir de um prompt". O prompt é o pedido que você escreve. O manual lembra que essa etapa "envolve latência e custo por token". Latência é o tempo de resposta. Token é um pedaço de palavra, a unidade que o modelo processa.

Toda vez que você manda uma pergunta a um chat de IA, acontece uma inferência.

Para quem quer mais. O guia de inferência da AWS compara as duas etapas:

Um artigo de 2024 no arXiv resume a diferença assim: o treino roda uma vez, e a inferência pode atender a um número ilimitado de pedidos.

Quanto custa a inferência de uma consulta?

Não existe um preço fixo por pergunta. As APIs (o acesso direto aos modelos, usado por programadores) cobram por volume de tokens. O preço costuma ser dado em dólares por milhão de tokens, com um valor para a entrada (seu pedido e o contexto) e outro para a saída (a resposta gerada).

O que muda entre os provedores:

• Google (API do Gemini): a página oficial de preços foi atualizada em 28 de outubro de 2026. Ela informa que um pedido pode gerar uma ou mais buscas no Google Search, e cada busca pode ser cobrada à parte.
• OpenAI: a página oficial de preços separa preços de treino, de entrada, de saída e de entrada em cache. Cache é a reutilização de um trecho já enviado antes.
• AWS: no Amazon Bedrock, você paga pelos tokens de entrada e saída processados. No Amazon SageMaker AI, a cobrança é pelo tipo de máquina usada e pelo armazenamento, segundo o guia da AWS.

Exemplo só de conta, sem preço real de nenhum modelo. Imagine uma tarifa de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de saída. Uma consulta com 1.000 tokens de entrada e 500 de saída custaria US$ 0,007. Cem mil consultas iguais custariam aproximadamente US$ 700, antes de ferramentas, cache, descontos e impostos.

A tendência. O AI Index 2025 de Stanford define custo de inferência como a despesa de consultar um modelo treinado. O relatório cita uma estimativa da Epoch AI: dependendo da tarefa, esse custo vinha caindo de nove a 900 vezes por ano. Essa é a medição da data do relatório, não de hoje. O mesmo relatório observa que os modelos mais avançados continuam mais caros que os menores das mesmas empresas.

A conta não é só em dinheiro. Um preprint de 2026 no arXiv cita um estudo segundo o qual a inferência pode representar até 90% do consumo de energia de um modelo ao longo do uso. O motivo é que ela acontece continuamente depois do treino.

Quais são as confusões comuns sobre inferência?

• "Inferência" no sentido de deduzir. Em lógica e no dia a dia, inferir é tirar uma conclusão. Em IA, a palavra quer dizer só que o modelo foi executado e gerou uma saída. Isso não significa que ele raciocinou como uma pessoa.
• Preço da API não é o custo total. Provedores podem dar descontos, usar hardware próprio e contabilizar a infraestrutura de formas diferentes. O valor cobrado de você nem sempre mostra quanto a inferência custa para quem a oferece.
• Uma pergunta pode virar várias cobranças. Buscas na web, ferramentas, cache e etapas de raciocínio podem entrar na conta. No Gemini, cada busca no Google Search pode ser cobrada separadamente, segundo a página de preços atualizada em 28 de outubro de 2026.
• Inferência não precisa ser na nuvem. Modelos menores podem rodar em computadores pessoais e outros aparelhos. O preprint no arXiv cita duas técnicas que ajudam nisso. A quantização reduz a precisão dos números do modelo, por exemplo de 32 para 8 ou 4 bits, e acelera a inferência. A destilação transfere o comportamento de um modelo grande para um menor. Rodar o modelo no seu aparelho também pode ser uma vantagem de privacidade.