如果你关心模型使用哪一种计算后端、怎样利用 CPU 和 GPU，llama.cpp 比单纯的聊天界面更接近推理执行层。项目以 C/C++ 实现大语言模型及视觉语言模型推理，适合愿意阅读构建文档、调整运行参数的开发者和本地模型爱好者。
功能与适用场景
README 列出了命令行工具、服务端接口以及多种硬件后端，并说明支持量化和 CPU、GPU 混合推理。它可用于本地交互，也可作为应用的模型服务。不同模型格式、量化方式和后端组合会影响实际表现，不能仅按一个模型文件的大小判断运行体验。
上手顺序
普通体验可以先查看官方 Release 中与系统及处理器架构匹配的预编译文件；需要特定后端时，再读构建指南。先确认一个受支持模型能够完成短输入，再研究服务端和上下文设置。版本更新较快，教程中的参数名应与当前安装版本对照，不要混用不同版本的示例。
许可证与限制
仓库代码采用 MIT 许可证，模型权重不随之获得同样授权。更换模型或量化文件时应阅读发布者的说明。官方列出硬件支持方向，并不意味着每台设备都能获得同等速度；内存、显存、模型大小和上下文长度需要一起评估。
官方来源与获取入口
编辑日期：2026-09-21。本文依据官方资料由 AI 辅助整理，未进行上机实测。