IA
Évaluer les modèles quantisés : perplexité, divergence KL & vraies évals de tâches
Comment savoir si IQ3_M est encore assez bon ? Mesurer la perte de qualité d'une quantisation – avec llama-perplexity, la divergence KL par rapport au modèle de base et une petite éval de tâches maison.
• Alain Ritter