Quantisierte Modelle bewerten: Perplexity, KL-Divergenz & echte Task-Evals
Woher weiß ich, dass IQ3_M noch gut genug ist? Wie man den Qualitätsverlust einer Quantisierung misst – mit llama-perplexity, KL-Divergenz gegen das Basismodell und einer kleinen eigenen Task-Eval.
