Tag: #quantisierung

2 Beiträge

Quantisierte Modelle bewerten: Perplexity, KL-Divergenz & echte Task-Evals

Woher weiß ich, dass IQ3_M noch gut genug ist? Wie man den Qualitätsverlust einer Quantisierung misst – mit llama-perplexity, KL-Divergenz gegen das Basismodell und einer kleinen eigenen Task-Eval.

26. Juli 2026 • Alain Ritter

#tutorial #quantisierung #llama.cpp #evaluation #ki #llm

Qwen3-32B manuell quantisieren – ein 32B-Modell auf 16 GB VRAM

Wie ich Qwen3-32B mit llama.cpp und einer Importance-Matrix so quantisiert habe, dass es auf einer 16-GB-GPU läuft: GGUF-Konvertierung, imatrix, Quant-Level im Vergleich, VRAM-Budget und Layer-Offload.

26. Juli 2026 • Alain Ritter

#tutorial #quantisierung #llama.cpp #qwen #ki #llm