IA multimodal

De onde vem o termo IA multimodal?

Em uma frase: "modalidade" é o tipo de dado. Texto é uma modalidade, imagem é outra, e áudio e vídeo também são. Uma IA multimodal trabalha com mais de uma delas.

🌱 Sou novo nisso. Os primeiros modelos de linguagem que ficaram populares trabalhavam quase só com texto. Os modelos multimodais acrescentam outras entradas. Por isso você pode mandar uma foto e pedir uma explicação, ou falar em vez de digitar.

🔎 Já uso. No meio acadêmico, a sigla mais comum é MLLM (Multimodal Large Language Models, ou grandes modelos de linguagem multimodais). Um capítulo de pesquisadores da UTFPR, da Unicamp e da Universidade de Toronto, publicado como preprint em fevereiro de 2026, define os MLLMs como modelos que combinam a compreensão e a geração de linguagem com a percepção de modalidades como imagem e áudio. Antes deles vieram os modelos de linguagem e visão, que trabalhavam apenas com texto e imagem (preprint no arXiv).

🚀 Já sou mais avançado. Segundo o mesmo capítulo, cada tipo de dado passa primeiro por um codificador (encoder) especializado. O codificador transforma o dado em embeddings, que são vetores numéricos que representam o conteúdo. Um módulo de alinhamento ajusta esses vetores ao formato que o modelo de linguagem processa. O objetivo é colocar conceitos parecidos perto uns dos outros: a palavra "cachorro", a foto de um cachorro e o som de um latido. Na saída, alguns modelos geram só texto. Outros usam um gerador específico para produzir imagem, áudio ou vídeo (preprint no arXiv).

Como a IA multimodal aparece nas ferramentas hoje?

Os exemplos abaixo foram verificados em nov/2026 na documentação oficial do Google. As fontes consultadas não trazem o mesmo nível de detalhe para outros assistentes. Por isso, esta página não afirma o que ChatGPT, Claude, Grok ou Copilot fazem em suas versões atuais.

• Gemini Omni 1.2 Flash (Google). Foi lançado em 5 de novembro de 2026 e está em disponibilidade geral (GA). A documentação do Google Cloud o descreve como multimodal para tarefas de vídeo, imagem e texto. Ele gera vídeo com áudio sincronizado de até 15 segundos, em 360p, 720p, 1080p e 4K. A retirada está prevista para não antes de 5 de novembro de 2027 (Google Cloud). A documentação do Gemini API lista texto, imagem, áudio, vídeo e PDF como entradas da família. Ela também avisa que nem todos os modelos da família têm as mesmas capacidades (Gemini API).
• Ferramentas especializadas do mesmo ecossistema. A documentação do AI Studio, atualizada em 13 de novembro de 2026, apresenta a Live API para voz e vídeo em tempo real, o Nano Banana para gerar imagens, o Gemini Omni para gerar vídeo e o Lyria para gerar música (AI Studio).
• Gemma 4 embedding (Google). Foi anunciado em 2 de novembro de 2026 e trabalha com texto, imagem, áudio e vídeo. É um modelo de embedding, usado para busca e organização de conteúdo, e não um assistente que conversa ou cria conteúdo (Google).

O que muda entre essas opções: o Gemini Omni 1.2 Flash gera vídeo com som. O Nano Banana gera só imagens e o Lyria gera música. A Live API serve para conversas em tempo real. O Gemma 4 embedding não gera respostas: ele ajuda sistemas a encontrar conteúdo parecido.

No dia a dia, o capítulo da UTFPR cita usos como busca por texto e imagem ao mesmo tempo, descrições automáticas de imagens para pessoas com deficiência visual, legendas para redes sociais e moderação de conteúdo (preprint no arXiv). Antes de enviar fotos, áudios ou vídeos pessoais, veja o que cada ferramenta faz com esses arquivos.

Quais confusões são comuns sobre IA multimodal?

• Entender não é gerar. Analisar um vídeo é uma capacidade. Produzir um vídeo é outra. Conversar por voz com pouca demora é uma terceira. Um modelo pode fazer uma delas e não as outras.
• Um aplicativo não é um modelo único. Um assistente pode usar uma cadeia de modelos especializados, um para cada tipo de dado. A documentação do Google distingue o modelo que processa várias modalidades no mesmo contexto das ferramentas especializadas em imagem, vídeo ou música (AI Studio). A definição genérica de modelo multimodal também não prova que todas as modalidades passem pela mesma arquitetura em todos os serviços (Google Cloud).
• A IA não "vê" nem "ouve" como uma pessoa. O modelo não trabalha direto com pixels ou sinais de som. Ele recebe vetores numéricos que representam esses dados (preprint no arXiv).
• Ranking de vídeo não mede tudo. Um modelo pode ir bem em rankings de geração de vídeo a partir de texto. Isso não mede sua capacidade de combinar texto, imagem, áudio e vídeo em um assistente.
• Alucinação também acontece com imagens. Alucinação é uma resposta inventada com confiança. Os modelos multimodais podem inventar detalhes visuais que não estão na imagem (preprint no arXiv). Confira o que importa antes de usar a resposta, principalmente em saúde, dinheiro e documentos.