Transformer (arquitetura Transformer)

De onde vem o termo Transformer?

O artigo "Attention Is All You Need" foi enviado ao arXiv em 12 de junho de 2017 por oito autores: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser e Illia Polosukhin. A última revisão (versão 7) é de 2 de agosto de 2023.

Na época, os melhores modelos para tarefas como tradução usavam redes recorrentes ou convolucionais. Os autores propuseram o Transformer, uma arquitetura "baseada apenas em mecanismos de atenção", sem recorrência e sem convoluções.

• 28.4 BLEU na tarefa de tradução inglês–alemão do WMT 2014, mais de 2 BLEU acima dos melhores resultados anteriores.
• 41.8 BLEU na tarefa inglês–francês do WMT 2014, após treinar por 3.5 dias em oito GPUs.

BLEU é uma medida automática de qualidade de tradução: quanto maior, mais perto das traduções de referência.

Como funciona a arquitetura Transformer?

Um token é a unidade básica que o modelo processa. Pode ser uma palavra, parte de uma palavra ou um caractere.

1. Cada token vira um vetor numérico (embedding), somado a um vetor que indica a posição do token na sequência. 2. Cada token gera três vetores: query (q), key (k) e value (v). Juntos, formam as matrizes Q, K e V. 3. Calcula-se a similaridade entre Q e K, aplica-se softmax e multiplica-se por V. Uma máscara impede que o modelo veja tokens futuros. 4. O resultado passa por uma conexão residual, uma normalização e uma rede neural de propagação direta (feed-forward). 5. Isso se repete em todas as camadas. No fim, uma camada linear gera uma distribuição de probabilidade para o próximo token, que é escolhido e reinserido no processo.

Encoder e decoder. O Transformer original tinha uma pilha de encoders, que transformam a entrada numa representação interna, e uma pilha de decoders, que geram a saída a partir dela. Depois surgiram variações só com encoder (atenção nos dois sentidos, boa para classificar e analisar texto) e só com decoder (atenção apenas no contexto anterior, boa para gerar texto token por token). No uso atual, o termo LLM se refere sobretudo a esses decoders autorregressivos, segundo o preprint.

Posição. O GenAI Handbook explica que o Transformer não tem noção nativa de ordem das palavras, por isso a posição precisa ser codificada em vetores. O artigo original usava codificações senoidais. Hoje, a implementação mais popular desse tipo é provavelmente a RoPE (Rotary Positional Encoding).

Além do texto. A mesma base também é usada para imagens: os Vision Transformers (ViTs) processam pedaços de imagem, e modelos multimodais projetam imagem ou áudio num espaço que o decoder consegue usar.

Quais confusões são comuns sobre o Transformer?

• Transformer não é um produto. É uma arquitetura, um jeito de organizar a rede neural. Vários modelos de linguagem de empresas diferentes são construídos sobre ela.
• O Transformer original não é igual aos modelos de chat de hoje. O artigo de 2017 tinha encoder e decoder, pensado para tradução. O GenAI Handbook lembra que a maioria dos LLMs modernos é "decoder-only", ou seja, usa só a parte que gera texto.
• "Atenção" é um cálculo, não atenção humana. O mecanismo combina consultas, chaves e valores numa soma ponderada. A IA calcula pesos entre tokens; ela não presta atenção como uma pessoa.
• Transformer não é o harness. O harness é o "carro" em volta do modelo: ferramentas, memória, arquivos. O Transformer está dentro do motor, no próprio modelo.