大模型量化技术：GGUF、GPTQ、AWQ对比

大模型量化是将模型参数从高精度（如FP16）压缩到低精度（如INT4、INT8）的技术，能显著降低模型存储和推理成本，是本地部署大模型的关键技术。## GGUF：llama.cpp生态的标准格式GGUF是llama.cpp项目推出的模型格式标准。它支持多种量化级别（Q2_K到Q8_0），在CPU上推理效率极高。GGUF的优势在于其广泛的硬件兼容性和活跃的社区生态，几乎所有的开源模型都有对应的GGU