Comment Google triple la vitesse de Gemma 4 grâce au Multi-Token Prediction

Le goulot d'étranglement de l'inférence LLM

Les grands modèles de langage (LLM) génèrent du texte un token à la fois. En apparence, c'est une contrainte logique : chaque token dépend du précédent. Mais en pratique, ce séquencement cache un problème d'architecture bien plus profond.

À chaque étape de génération, le processeur doit charger des milliards de paramètres depuis la mémoire. Le cœur de calcul passe alors l'essentiel de son temps à attendre les données, plutôt qu'à les traiter. On appelle ce phénomène le memory-bound bottleneck : la puissance de calcul disponible est massivement sous-utilisée, non par manque de capacité, mais par manque d'alimentation en données.

C'est précisément ce goulot que Google s'attaque à résoudre avec sa nouvelle technique Multi-Token Prediction (MTP), déployée sur sa famille de modèles ouverts Gemma 4.

Multi-Token Prediction : exploiter les cycles CPU inactifs

L'idée centrale du MTP est élégante : plutôt que de laisser le processeur attendre les données du modèle principal, un petit modèle auxiliaire — appelé drafter — exploite cette capacité idle pour proposer plusieurs tokens en avance.

Voici le déroulement concret :

1. Le modèle principal (main model) est en attente de chargement de ses paramètres.
2. Pendant ce temps, le drafter model — beaucoup plus léger — génère une séquence de tokens candidats.
3. Une fois les données du modèle principal disponibles, celui-ci vérifie l'ensemble des propositions en une seule passe.
4. Si les tokens suggérés sont corrects, ils sont tous acceptés d'un coup.

Le gain est réel : les cycles de calcul qui auraient été gaspillés à attendre sont désormais mis à profit. Le résultat est une génération jusqu'à trois fois plus rapide, sans aucune dégradation de la qualité ni de la précision des sorties.

Cette approche est conceptuellement proche du speculative decoding, une technique déjà connue dans la recherche sur l'optimisation des LLM, mais ici intégrée nativement dans l'écosystème Gemma 4 sous forme de drafters dédiés et distribués en open source.

Disponibilité et compatibilité

Google a publié ces MTP drafters sous licence Apache 2.0, ce qui les rend librement utilisables, modifiables et redistribuables, y compris dans des contextes commerciaux. Ils sont disponibles sur Hugging Face et Kaggle.

Ce qui distingue cette implémentation, c'est sa polyvalence :

• 📱 Smartphones : l'optimisation fonctionne sur des appareils à ressources limitées, ce qui ouvre la voie à de l'inférence locale véritablement rapide.
• 💻 Ordinateurs locaux : les développeurs et chercheurs qui font tourner Gemma 4 en local bénéficient directement du gain de vitesse.
• ☁️ Cloud : en production, la réduction du temps d'inférence se traduit par une diminution des coûts opérationnels et une meilleure scalabilité.

Rappelons que Gemma 4, lancé début avril 2026, a déjà été téléchargé plus de 60 millions de fois — un signal fort de l'adoption massive des modèles ouverts de Google dans la communauté.

Ce que ça change concrètement pour les développeurs

Pour un développeur PHP/Symfony intégrant de l'IA générative dans ses applications — que ce soit via une API locale, un service self-hosted, ou une intégration cloud — cette avancée a des implications directes.

Réduction de la latence perçue : une inférence 3x plus rapide, c'est une expérience utilisateur nettement améliorée, surtout pour des use cases temps réel (chatbots, assistants, autocomplétion).

Diminution des coûts d'hébergement : moins de temps GPU/CPU par requête, c'est moins de ressources consommées. Pour des déploiements sur des VPS ou serveurs dédiés — comme un serveur IONOS — cela peut représenter un gain significatif à l'échelle.

Viabilité de l'IA locale : la compatibilité avec les smartphones et machines modestes renforce l'hypothèse d'une IA embarquée sans dépendance cloud, ce qui est stratégiquement intéressant pour des applications soucieuses de confidentialité des données.

Conclusion

Le Multi-Token Prediction de Google pour Gemma 4 est une illustration parfaite d'une optimisation intelligente : pas de compromis sur la qualité, pas de refonte architecturale majeure, mais une exploitation fine des ressources déjà disponibles et sous-utilisées.

C'est le genre d'amélioration qui fait la différence entre un modèle théoriquement performant et un modèle pratiquement déployable dans des conditions réelles. Pour les équipes qui travaillent avec des contraintes matérielles ou budgétaires, c'est une avancée à surveiller de près.

Source originale : Google speeds up Gemma 4 threefold with multi-token prediction — The Decoder, Matthias Bastian, 6 mai 2026.