Quantização e decodificação especulativa

Para modelos abertos hospedados localmente, há dois grandes ganhos de velocidade e custo:

1. Quantização — pesos menores, menos RAM/VRAM e inferência mais rápida
2. Decodificação especulativa — gere vários tokens por etapa

Normalmente, os modelos são armazenados como FP16 (16 bits por peso). A quantização reduz esse número para menos bits:

• FP16 — linha de base
• INT8 — duas vezes menor, com perda de qualidade quase insignificante
• INT4 / Q4_K_M — quatro vezes menor, com pequena perda de qualidade
• INT2 / 1.58-bit — oito vezes ou mais menor, com perda real de qualidade

GGUF é o formato usado pelo llama.cpp. Níveis comuns:

• Q4_K_M — melhor equilíbrio entre qualidade e tamanho
• Q5_K_M — ligeiramente maior e ligeiramente melhor
• Q8_0 — qualidade próxima à de FP16, com compressão de 2 vezes

Um modelo 8B FP16 precisa de aproximadamente 16 GB de VRAM. O mesmo modelo em Q4 cabe em aproximadamente 5 GB de VRAM e pode ser executado em uma GPU muito mais barata.

O truque é usar um modelo pequeno de "rascunho" para propor tokens e depois verificá-los com o modelo grande de "destino" em uma única passagem direta. Muitas vezes, isso acelera o processo em 2 a 3 vezes.

O modelo de rascunho propõe K tokens. O modelo de destino processa todos eles em PARALLEL (uma única passagem direta). Cada token aceito é "gratuito". Uma rejeição desfaz a alteração; normalmente, a maior parte é aceita.

• Decodificação com antecipação — vários rascunhos por etapa
• Medusa — várias cabeças de decodificação treinadas em conjunto
• EAGLE — especulação rápida baseada em árvores

• vLLM — oferece tanto quantização (AWQ, GPTQ, FP8) quanto decodificação especulativa
• llama.cpp — quantização e especulação por meio de --draft-model
• TensorRT-LLM — servidor de produção da NVIDIA
• SGLang — servidor rápido, compatível com processamento em lotes, com processamento contínuo em lotes

O principal recurso do vLLM: processar várias solicitações com comprimentos diferentes na mesma passagem direta. Isso proporciona um enorme ganho de produtividade para servidores de produção.

Teste cada nível candidato em SUA avaliação. Q4_K_M é o ponto de partida padrão; use um nível mais alto se a qualidade ficar abaixo do limiar.

Otimizações diferentes ajudam métricas diferentes:

• Latência de uma única solicitação: decodificação especulativa
• Produtividade para vários usuários: processamento contínuo em lotes
• Custo de memória: quantização

Qual é o principal efeito da quantização int4?

Faça a quantização para Q4 para obter ganhos de memória e velocidade. Use decodificação especulativa para reduzir a latência. Use processamento contínuo em lotes para aumentar a produtividade. vLLM e llama.cpp implementam os três recursos.