pxlngnblogtagquantisierung

#quantisierung

26.07.2026KI

Quantisierte Modelle bewerten: Perplexity, KL-Divergenz & echte Task-Evals

Woher weiß ich, dass IQ3_M noch gut genug ist? Wie man den Qualitätsverlust einer Quantisierung misst – mit llama-perplexity, KL-Divergenz gegen das Basismodell und einer kleinen eigenen Task-Eval.

#tutorial
#quantisierung
#llama.cpp
#evaluation
#ki
#llm

26.07.2026KI

Qwen3-32B manuell quantisieren – ein 32B-Modell auf 16 GB VRAM

Wie ich Qwen3-32B mit llama.cpp und einer Importance-Matrix so quantisiert habe, dass es auf einer 16-GB-GPU läuft: GGUF-Konvertierung, imatrix, Quant-Level im Vergleich, VRAM-Budget und Layer-Offload.

#tutorial
#quantisierung
#llama.cpp
#qwen
#ki
#llm