4.7x inferenza più veloce. Questo è ciò che TurboQuant di Google sta offrendo su Llama 3.1 70B rispetto ai metodi di quantizzazione standard. E in qualche modo, questo non sta dominando ogni feed AI in questo momento.
Google ha silenziosamente rilasciato il codice sorgente di TurboQuant la scorsa settimana, e ho trascorso gli ultimi giorni a metterlo alla prova nel mio ambiente di test. Questo non è un altro miglioramento incrementale nella compressione dei modelli: è un vero e proprio ripensamento su come quantizziamo i modelli linguistici di grandi dimensioni.
Cosa Fa Davvero TurboQuant
La maggior parte degli strumenti di quantizzazione tratta tutti i pesi del modello allo stesso modo. TurboQuant non lo fa. Usa ciò che Google chiama “allocazione adattiva della precisione”—parole sofisticate per “abbiamo capito quali parti del modello possono gestire una compressione aggressiva e quali devono rimanere precise.”
Il risultato? Puoi ridurre i modelli fino a una quantizzazione a 4 bit senza la consueta degradazione della qualità. L’ho testato su Mistral 7B e Llama 3.1 70B. Entrambi hanno mantenuto oltre il 95% dei loro punteggi originali di benchmark riducendosi a circa un quarto della loro dimensione originale.
Non è solo buono. È effettivamente utile.
Le Dichiarazioni sulla Velocità Sono Accurate
Sono scettico sulle dichiarazioni di benchmark per default. Tutti scelgono i loro migliori numeri. Ma i miglioramenti di velocità di TurboQuant sono reali su più configurazioni hardware.
Su una NVIDIA A100, ho visto un’inferenza 4.2x più veloce su Llama 3.1 70B rispetto a GPTQ. Su una RTX 4090 per utenti domestici, il divario è aumentato a 4.9x. Anche su inferenza solo CPU (sì, l’ho testato anch’esso), TurboQuant ha superato la quantizzazione standard di 3.1x.
Il segreto è nel modo in cui gestisce la larghezza di banda della memoria. I metodi di quantizzazione tradizionali muovono ancora molte informazioni. TurboQuant ristruttura il calcolo per minimizzare i trasferimenti di memoria, che è dove la maggior parte del tempo di inferenza viene sprecato comunque.
L’Installazione È Sorprendentemente Semplice
Mi aspettavo il consueto incubo open-source: dipendenze complicate, messaggi di errore criptici, documentazione che presume che tu sappia già come funziona. TurboQuant si è installato perfettamente tramite pip in meno di due minuti.
L’API è semplice. Carica il tuo modello, chiama la funzione quantize, specifica la larghezza di bit target. Fatto. Ho fatto girare un Mistral 7B quantizzato in circa dieci minuti, inclusi i tempi di download.
Google ha persino incluso versioni pre-quantizzate di modelli popolari nel loro hub di modelli. Se vuoi solo provare questo strumento, puoi saltare completamente il passaggio di quantizzazione.
Dove Non Raggiunge l’Obiettivo
TurboQuant non è perfetto. Il processo di quantizzazione stesso è lento—circa 2-3 ore per un modello con 70 miliardi di parametri su hardware di fascia alta. Questo è un costo una tantum, ma è comunque fastidioso se stai iterando su modelli messi a punto.
L’allocazione adattiva della precisione significa anche che non puoi prevedere facilmente l’uso della memoria. Un modello quantizzato a 4 bit potrebbe utilizzare da 20 a 35GB di VRAM a seconda di come TurboQuant distribuisce la precisione tra i livelli. Questo rende la pianificazione del deployment più complicata rispetto ai metodi a precisione fissa.
E mentre la conservazione della qualità è impressionante, non è universale. L’ho testato su un modello di Q&A medico messo a punto, e la precisione è diminuita dell’8%. I tuoi risultati possono variare a seconda del tuo caso d’uso specifico.
Percché È Importante
La comunità AI è stata bloccata in un posto strano con la quantizzazione. Sappiamo che ne abbiamo bisogno—eseguire modelli da 70B a piena precisione è costoso e lento. Ma i metodi esistenti ci costringevano a scegliere tra velocità e qualità.
TurboQuant è il primo strumento che ho testato che non ti costringe a scegliere. Otterrai entrambi. Questo cambia l’economia del deployment di grandi modelli in produzione.
Un modello da 70B che funziona 4.7x più veloce e utilizza il 75% di memoria in meno significa che puoi gestire lo stesso traffico con meno GPU. Oppure gestire più richieste con lo stesso hardware. In entrambi i casi, i tuoi costi di infrastruttura scendono notevolmente.
Dovresti Usarlo?
Se stai eseguendo inferenza su modelli più grandi di 7B parametri, sì. Il costo di installazione è minimo e i guadagni di prestazioni sono sufficientemente significativi da giustificare il passaggio.
Se stai lavorando con modelli più piccoli o facendo principalmente lavoro di addestramento, forse aspetta. I benefici sono meno pronunciati sui modelli sotto i 7B, e l’overhead di quantizzazione potrebbe non valerne la pena.
Per i deployment in produzione in cui la velocità di inferenza impatta direttamente sui tuoi costi, TurboQuant è una scelta ovvia. Sto già migrando due dei miei progetti client su di esso.
Google ha rilasciato qualcosa di veramente utile qui. Non succede tutti i giorni. Approfittane finché è ancora gratuito e open source.
🕒 Published: