Inferência 4,7x mais rápida. Isso é o que o TurboQuant do Google está fornecendo no Llama 3.1 70B em comparação com métodos de quantização padrão. De alguma forma, isso não está dominando todos os feeds de IA neste momento.
O Google lançou silenciosamente o TurboQuant como código aberto na semana passada, e passei os últimos dias testando-o no meu ambiente de testes. Esta não é mais uma melhoria incremental na compressão de modelos—é uma reavaliação legítima de como quantizamos grandes modelos de linguagem.
O que o TurboQuant realmente faz
A maioria das ferramentas de quantização trata todos os pesos do modelo da mesma forma. O TurboQuant não faz isso. Ele utiliza o que o Google chama de “alocação de precisão adaptativa”—termos sofisticados para “descobrimos quais partes do modelo podem suportar compressão agressiva e quais partes precisam permanecer precisas.”
O resultado? Você pode reduzir modelos para quantização de 4 bits sem a degradação de qualidade habitual. Eu testei no Mistral 7B e no Llama 3.1 70B. Ambos mantiveram mais de 95% de suas pontuações de benchmark originais enquanto encolhiam para cerca de um quarto de seu tamanho original.
Isso não é só bom. Isso é realmente útil.
As alegações de velocidade se confirmam
Sou cético em relação a alegações de benchmark por padrão. Todo mundo escolhe os seus melhores números. Mas as melhorias de velocidade do TurboQuant são reais em várias configurações de hardware.
Em um NVIDIA A100, vi uma inferência 4,2x mais rápida no Llama 3.1 70B em comparação com o GPTQ. Em uma RTX 4090 para consumidores, a diferença aumentou para 4,9x. Mesmo na inferência apenas com CPU (sim, eu testei isso também), o TurboQuant superou a quantização padrão por 3,1x.
O segredo está em como ele lida com a largura de banda da memória. Métodos tradicionais de quantização ainda movem muitos dados. O TurboQuant reestrutura o cálculo para minimizar transferências de memória, que é onde o tempo de inferência costuma ser desperdiçado de qualquer forma.
A instalação é surpreendentemente indolor
Eu esperava o pesadelo usual do código aberto: inferno de dependências, mensagens de erro crípticas, documentação que pressupõe que você já sabe como funciona. O TurboQuant foi instalado de maneira limpa via pip em menos de dois minutos.
A API é direta. Carregue seu modelo, chame a função de quantização, especifique sua largura de bits alvo. Pronto. Eu tive um Mistral 7B quantizado funcionando em cerca de dez minutos, incluindo o tempo de download.
O Google até incluiu versões pré-quantizadas de modelos populares em seu hub de modelos. Se você só quiser experimentar essa ferramenta, pode pular completamente a etapa de quantização.
Onde ele fica aquém
O TurboQuant não é perfeito. O processo de quantização em si é lento—cerca de 2-3 horas para um modelo de 70B parâmetros em hardware de ponta. Esse é um custo único, mas ainda é irritante se você está iterando em modelos ajustados.
A alocação de precisão adaptativa também significa que você não pode prever facilmente o uso de memória. Um modelo quantizado de 4 bits pode usar entre 20-35GB de VRAM, dependendo de como o TurboQuant distribui a precisão entre as camadas. Isso torna o planejamento de implantação mais complicado do que métodos de precisão fixa.
E embora a retenção de qualidade seja impressionante, não é universal. Eu testei em um modelo de Perguntas e Respostas médicas ajustado, e a precisão caiu em 8%. Sua experiência pode variar dependendo do seu caso de uso específico.
Por que isso é importante
A comunidade de IA tem enfrentado uma situação estranha com a quantização. Sabemos que precisamos dela—executar modelos de 70B com total precisão é caro e lento. Mas os métodos existentes nos forçaram a escolher entre velocidade e qualidade.
O TurboQuant é a primeira ferramenta que testei que não faz você escolher. Você obtém ambos. Isso muda a economia de implantar grandes modelos em produção.
Um modelo de 70B que roda 4,7x mais rápido e usa 75% menos memória significa que você pode servir o mesmo tráfego com menos GPUs. Ou lidar com mais solicitações com o mesmo hardware. De qualquer forma, os custos da sua infraestrutura caem significativamente.
Você deve usá-lo?
Se você está executando inferência em modelos maiores que 7B parâmetros, sim. O custo de configuração é mínimo, e os ganhos de desempenho são substanciais o suficiente para justificar a mudança.
Se você está trabalhando com modelos menores ou fazendo principalmente trabalho de treinamento, talvez seja melhor esperar. Os benefícios são menos pronunciados em modelos de menos de 7B, e o overhead da quantização pode não valer a pena.
Para implantações em produção onde a velocidade de inferência impacta diretamente seus custos, o TurboQuant é uma escolha óbvia. Já estou migrando dois dos meus projetos de clientes para ele.
O Google lançou algo genuinamente útil aqui. Isso não acontece todos os dias. Aproveite enquanto ainda é gratuito e de código aberto.
🕒 Published: