一直想在自己电脑或者测试环境随便找台服务器尝试部署一下“大模型”，但“大模型”对于内存和GPU的要求令人望而却步，层出不穷的各种术语也令人困惑，有点难以下手。 经过一段时间，在百度千帆大模型平台、讯飞星火大模型平台、魔搭社区等平台的锤炼之下，对于“大模型”的应用有了一点点认知，但离“本地”部署和应用仍然差距甚远。无意中了解到 llama.cpp 这个开源项目，才算打开了一扇窗户。