Destilação, quantização e MoE: como os modelos de IA ficam menores e mais eficientes

O que é destilação e por que ela deixa um modelo mais barato?

O aluno aprende com as respostas, as probabilidades ou as representações internas do professor. O objetivo é manter parte da qualidade do modelo grande e gastar menos memória, menos tempo de resposta e menos computação.

Para quem quer mais:

• Um modelo destilado pode ser muito menor e mais barato de rodar, inclusive no próprio computador.
• A economia não é garantida. Treinar o professor e gerar os dados de destilação pode custar caro.
• O aluno pode perder capacidades raras, conhecimento factual, robustez ou desempenho em tarefas que ficaram fora dos dados usados no processo.
• A destilação cria outro modelo, com parâmetros e comportamento que podem ser diferentes. A quantização, ao contrário, costuma comprimir o mesmo modelo já treinado.

Um artigo publicado nos anais da ICLR 2026, em 5 de novembro de 2026, trata a destilação e a autodestilação como técnicas ligadas à compressão de modelos MoE (artigo da ICLR 2026).

O que ainda não se sabe: não encontramos fonte oficial atual (nov/2026) que identifique um modelo comercial específico como destilado e que o compare com o professor. Um modelo pequeno ou barato não é, por isso, um modelo destilado. Só o model card (a ficha técnica do modelo) ou o anúncio do fabricante pode confirmar.

Como funciona a quantização de um modelo de IA?

A quantização guarda os números do modelo (os pesos e, às vezes, as ativações) com menos bits, e o arquivo fica menor.

Normalmente um modelo usa 16 bits por número, nos formatos BF16 ou FP16. Com quantização, ele pode usar FP8, INT8, INT4 ou formatos de fabricante, como o NVFP4 da NVIDIA.

Uma conta de ordem de grandeza:

• Um modelo com N parâmetros em 16 bits ocupa cerca de 2N bytes só com os pesos.
• Em 4 bits, ocupa cerca de 0,5N bytes, antes de qualquer custo extra.
• Os 4 bits reduzem o espaço dos pesos para cerca de um quarto do BF16/FP16.

Isso é uma relação entre formatos numéricos, não a medição de um modelo. O tamanho real também depende de metadados, escalas, embeddings, do cache KV (a memória da conversa em andamento) e do programa que roda o modelo.

Dois jeitos de quantizar, segundo a documentação do Gemma 4 do Google (Gemma docs, consultada em outubro de 2026):

• PTQ (post-training quantization): comprime um modelo já treinado. É mais simples, mas pode piorar a qualidade.
• QAT (quantization-aware training): o treino já simula a baixa precisão, e o modelo aprende a compensar parte da perda.

Exemplos atuais (verificado em nov/2026):

• Gemma 4 (Google): roda em 16 bits ou em menor precisão. Há variantes QAT no formato GGUF para llama.cpp e LM Studio, com uso em CPU, Apple Silicon ou GPUs de consumo. Para servidores, há variantes W4A16 para vLLM e SGLang, ou seja, pesos de 4 bits com ativações de 16 bits (Gemma docs).
• GLM-5.3 NVFP4 (Z.ai, quantizado pela NVIDIA): a NVIDIA descreve este modelo MoE quantizado em NVFP4 e documenta sua execução em duas estações DGX com vLLM (NVIDIA).

O que é MoE e como quantização e MoE trabalham juntos?

Em um modelo Mixture of Experts (MoE, mistura de especialistas), um roteador escolhe só alguns "especialistas" (sub-redes) para cada token, e o resto fica parado.

Um token é um pedaço de palavra, a unidade que o modelo processa. Com o MoE, o modelo pode ter muitos parâmetros no total sem calcular todos eles a cada passo.

O MoE economiza cálculo, não necessariamente memória:

• Os pesos de todos os especialistas costumam precisar estar carregados.
• Só os especialistas escolhidos trabalham em cada token.
• A comunicação entre GPUs e a movimentação de pesos podem virar gargalo.
• Um MoE grande pode gastar pouco cálculo por token e, mesmo assim, custar caro para carregar e servir.

Por isso as duas técnicas aparecem juntas. O MoE corta o cálculo por token, e a quantização reduz a memória que todos os especialistas ocupam.

Exemplos atuais (verificado em nov/2026):

Fontes: Mistral, NVIDIA, Google.

A Mistral descreve o Large 4 como multimodal, com arquitetura MoE "granular". A família Gemma 4 também tem os tamanhos E2B, E4B, 12B e 31B.

O caso do GLM-5.3 mostra um limite. Ele ativa só 40 bilhões de parâmetros por token e, ainda assim, precisou de duas estações DGX. A quantidade de parâmetros ativos não diz quanta memória o modelo exige.

Sobre a origem histórica do MoE: não encontramos uma fonte primária atual com link para indicar aqui.

Quanto custam os modelos menores e mais baratos na API?

Os fabricantes vendem famílias com versões grandes e versões menores.

Os preços de API por milhão de tokens mudam com frequência: veja a comparação de preços de API.

Cuidado com a leitura: as listas de preço não dizem qual técnica cada modelo usa. Não dá para concluir que um modelo barato é destilado, quantizado ou MoE só pelo preço. Os preços também mudam, então confira a página do fabricante antes de contratar.

Vale mais a pena usar a IA na nuvem ou rodar um modelo local?

Depende do volume de uso, do hardware que você tem e do que você precisa proteger. Nenhuma opção é a mais barata para todos.

Os mesmos critérios para as duas opções (verificado em nov/2026):

Quando cada uma costuma fazer sentido:

• 🌱 Uso ocasional ou variável: a API em US$ evita comprar e manter hardware.
• 🔎 Uso grande e estável: pesos abertos quantizados podem reduzir o custo de cada uso, se você já tem GPU, armazenamento e alguém para operar.
• 🚀 Dados sensíveis: rodar local evita enviar o conteúdo ao provedor. Também é preciso verificar a licença, a telemetria do aplicativo e as regras que valem para o seu caso.

Pesos abertos não significam rodar em casa. O Mistral Large 4 tem pesos abertos, mas seu 1,05 trilhão de parâmetros exige hardware especializado ou uma configuração distribuída (Mistral). O GLM-5.3 NVFP4 foi documentado em duas estações DGX, que é infraestrutura profissional e não um desktop comum (NVIDIA). Entre os exemplos atuais, o Gemma 4 quantizado é o mais claramente voltado ao computador pessoal.

O que ainda não se sabe: não encontramos fonte oficial atual com preço de hardware, nem uma comparação auditada entre o custo por token da API e o de um computador doméstico. O Epoch AI acompanha preços, arquitetura e benchmarks de modelos, mas o painel consultado em 14 de novembro de 2026 não traz essa conta (Epoch AI).

Linha do tempo

1. 5 de novembro de 2026 Os anais da conferência científica ICLR 2026 publicam um artigo sobre quantização de modelos MoE. O artigo trata a destilação de conhecimento (knowledge distillation) e a autodestilação (self-distillation) como técnicas relacionadas à compressão.
2. 13 de novembro de 2026 A NVIDIA publica um artigo sobre o GLM-5.3 NVFP4, versão quantizada de um modelo MoE da Z.ai com 753 bilhões de parâmetros totais e 40 bilhões ativados por token. O modelo roda distribuído em duas estações DGX com vLLM.
3. 13 de novembro de 2026 A Mistral atualiza na documentação os preços de API do Mistral Large 4, um modelo MoE de pesos abertos com 1,05 trilhão de parâmetros totais e 52 bilhões ativos.