发布者：kelixier

llama.cpp介绍与特点

模型量化（Quantization）：这是 llama.cpp 提供的核心功能之一。它将原始 FP32（或 FP16）精度的模型权重和激活值，转换为更低精度的格式（如 INT8, INT4, 甚至更低）。主要目的： 显著减小模型文件大小（通常缩小 2-4 倍甚至更多），并潜在地加速计算（因为处理更小的数据类型通常更快，内存带宽需求更低）。工具属性： llama.cpp 提供了将原始模型（如 Hugging Face 格式的 PyTorch 模型）转换为它支持的量化格式（GGML/GGUF）的工具。模型推理（Inference）：这才是模型真正“干活”的阶段：接收输入文本，经过模型内部复杂...

C++之auto 关键字与decltype 关键字

C++之内联和嵌套命名空间

C++之新的变量类型char8_t、char16_t、char32_t

C++之析构函数、虚析构函数、 纯虚析构函数