Modelo de linguagem (LLM): o que é

De onde vem o termo e o que é LLM, exatamente?

Em uma frase: um modelo de linguagem atribui probabilidades a sequências de palavras e gera texto escolhendo as próximas palavras possíveis. O "grande" de LLM indica que ele foi treinado com muito texto e tem muitos parâmetros.

🌱 Sou novo nisso. A ideia é antiga e simples. Os primeiros modelos de linguagem contavam com que frequência as palavras apareciam juntas em muitos textos. Os LLMs fazem algo parecido, mas aprendem de outro jeito: são treinados para adivinhar a próxima palavra. Mesmo treinados só para isso, eles acabam aprendendo muito sobre a língua, porque veem muito texto (Stanford).

🔎 Já uso. Um relatório da Faculdade de Direito da USP resume assim: os grandes modelos de linguagem aprendem a prever estatisticamente a próxima melhor palavra a partir de uma sequência de palavras. Eles são treinados com grandes conjuntos de textos da internet, como páginas de sites, livros disponíveis online e postagens em redes sociais (USP).

🚀 Já sou mais avançado. O passo decisivo foi a arquitetura Transformer, apresentada no artigo "Attention Is All You Need" (Vaswani et al., 2017). O mecanismo de auto-atenção (self-attention, em inglês) permite ao modelo pesar a importância de cada token em relação aos outros, mesmo quando estão distantes no texto. Antes dele, as redes neurais recorrentes processavam o texto de forma sequencial (USP; arXiv, preprint).

Como um LLM gera uma resposta, palavra por palavra?

Em uma frase: o modelo calcula qual pedaço de texto tem mais chance de vir a seguir, escolhe um, junta ao que já foi escrito e repete. O processo para quando a própria previsão indica que o texto deve terminar (USP).

O passo a passo, segundo um preprint de 2026 sobre modelos multimodais (arXiv):

1. O texto vira tokens. Token é a unidade básica que o modelo processa. Pode ser uma palavra, um pedaço de palavra ou um caractere. 2. Cada token vira números. Ele é convertido em um vetor (embedding, a representação numérica do token), somado a outro vetor que marca sua posição na frase. 3. O modelo processa a sequência. Os vetores passam por várias camadas do Transformer. 4. Sai uma lista de probabilidades. A última camada produz uma distribuição de probabilidade para o próximo token. 5. Um token é escolhido e volta para a entrada. Assim o texto cresce de forma incremental.

Esse jeito de gerar se chama autorregressivo: cada novo token depende dos anteriores. Também se fala em LLMs "causais" ou "da esquerda para a direita" (Stanford).

Famílias conhecidas. GPT (OpenAI), Claude (Anthropic) e Llama (Meta) aparecem como exemplos desse tipo de modelo, chamado decoder (Stanford). O Gemini (Google) parte da mesma base de decoders autorregressivos e incorpora outras entradas, como imagem e áudio (arXiv). As versões mudam rápido. Para saber quais estão em uso agora, consulte as páginas oficiais, como a de modelos da Anthropic e a de preços da OpenAI (verificado em nov/2026).

🚀 Detalhe técnico. No decoder, a atenção é mascarada: cada token gera três vetores (query, key e value). O modelo calcula a semelhança entre Q e K, aplica softmax e multiplica por V, com uma máscara que impede o modelo de ver os tokens futuros (arXiv).

Quais confusões são comuns sobre LLMs?

1. LLM não é o mesmo que o aplicativo. O modelo é o motor. O chat que você usa é um produto construído em volta dele. Essas ferramentas também foram integradas a editores de texto, pacotes de escritório e buscadores (USP). Em volta do modelo pode haver um harness: o "carro" em volta do motor, com ferramentas, memória e arquivos. Um recurso desse tipo é a chamada de função (function calling, em inglês). Com ela, o modelo pede que uma ação seja feita, como consultar uma fonte externa ou agendar um evento. Esse recurso ajuda a contornar limites dos LLMs, como o conhecimento desatualizado (UFRN). O formato desse recurso varia entre provedores como OpenAI, Anthropic e Google.

2. Prever não é saber. O LLM calcula probabilidades a partir de padrões estatísticos do texto. Por isso, ele pode gerar informações imprecisas com toda a confiança. Isso se chama alucinação (UFRN). Os pesquisadores escrevem "raciocínio" entre aspas ao descrever o que esses modelos fazem (arXiv). Confira o que importa antes de usar uma resposta, principalmente sobre saúde, dinheiro, lei e fatos. Para decisões pessoais nessas áreas, procure um profissional.

3. Nem todo modelo de linguagem é um LLM no sentido atual. Existem modelos do tipo encoder, que leem o contexto dos dois lados de cada palavra e servem mais para classificar e analisar textos. Também existem os encoder-decoder, usados em tradução e reconhecimento de fala (Stanford). No uso de hoje, "LLM" se refere principalmente aos decoders autorregressivos (arXiv).

4. LLM não lida só com texto. Os modelos multimodais (MLLMs) são uma extensão dos LLMs. Eles convertem imagem ou áudio em representações que o modelo de linguagem consegue processar (arXiv).