本地 Agent 怎么选、怎么建：从单场景试点到可运维

本地 Agent 项目最常见的失败方式，不是模型不够强，而是一上来就想“做个什么都会的企业大脑”。三个月后，权限没理清，知识库是脏的，业务不愿用，机器倒是买了。

下面是一套我们在交付里反复验证过的建造顺序。它不神秘，但很反直觉：先窄，后通；先可控，后智能。

先看尸检：上线第一周常见的翻车信号

语料没洗干净就开用，通常一周内就会露馅。下面这些信号出现任意两条，建议先停推广、回头清库——别急着换更大模型：

• 同一问题给出互相打架的答案（新旧制度、多份版本并存）；
• 检索结果常飘到无关目录，用户开始说“还不如自己搜网盘”；
• 敏感字段或未脱敏附件被引用进回答；
• 业务方改口：“演示可以，正式不敢用”；
• 失败案例堆在群里，却没有人负责改切片与权限。

这类问题靠换更大模型几乎解决不了——要先把语料边界和更新责任钉死。单独做 RAG 知识库建设（¥20,000 起）往往比硬上多 Agent 更划算。

只选一个“值得驻场争论”的场景

好场景通常同时满足：高频（每周都发生）；有明确输入输出（文档进、结论/草稿出）；现有人工成本可感知；出错可承受或可人工复核；数据边界清晰。

差场景的特征是：目标含糊（“提升管理水平”）、跨十个系统、一次做错就不可逆。

把场景写成一页纸：用户是谁、触发条件、成功标准、失败时回退方式。没有这一页，不进入采购。

先定数据与权限，再谈模型品牌

本地 Agent 的骨架往往是 RAG + 工具调用。优先决策：

1. 语料从哪来：网盘、Wiki、ERP 导出、工单系统？
2. 谁能看什么：检索层是否在生成前做 ACL 过滤？
3. 更新频率：制度月更，还是工单日更？
4. 脱敏规则：哪些字段永远不进索引？

模型可以换，脏数据和错误权限会长期伤害信任。2026 年常见的本地推理运行时（Ollama、vLLM 等）与向量库选型可以后移——先把“谁能看什么”钉死，再谈用哪一档开源模型。

架构按“能审计”来选，而不是按 Demo 炫技

一个可上线的最小栈通常包括：

• 推理运行时（本地开源模型或内网托管推理）；
• OpenAI 兼容 API 层（方便现有应用接入）；
• RAG 流水线（解析、切片、嵌入、检索、重排）；
• 编排层（Prompt 管理、工具路由、人工确认节点）；
• 观测层（日志、用量、失败样本）。

对 Agent 工具（尤其是代码执行、写操作）必须默认沙箱：独立容器、出站受限、高风险动作二次确认。只把推理留在内网、工具却随意出站，等于门装了一半。

用评测集代替“领导试了觉得还行”

至少准备几十条真实问题，标注：应当引用的文档；可接受答案要点；明确不该泄露的信息。

上线门槛建议写成可核对的约定，例如：

• 黄金集准确率达到约定阈值；
• 越权问答拦截率在抽检中必须过关；
• P95 延迟低于业务可接受值；
• 人工复核队列可在约定时间内处理。

没有评测，就只能靠感觉迭代，项目会无限期“再优优化”。

试点节奏与买法怎么配

中小企业在硬件上不必迷信“起步就上大集群”。很多单场景试点，合理配置的服务器即可起步；关键是 Docker/运行时与内网闭环是否干净。

自建、采购项目制，还是 FDE？

• 自建：有 AI 工程团队、愿意长期养平台；
• 项目制交付：场景清晰、范围可锁定（我们标准版常从此切入）；
• FDE 驻场：流程复杂、系统老旧、需要现场拆解与持续迭代。

三者可以衔接，不必互斥。

立项时请把隐性成本写进表

除了软件与实施费，建议单列：数据清洗与权限梳理人天；生产会话变长带来的算力 / Token 预估；监控、告警与值班；知识库持续更新的岗位职责。写进表，不等于恐吓，而是让财务与业务一起做成人决策。

再好的架构，也需要人接住：业务 owner 定义对错；知识管理员更新语料；IT 对接账号、网络、备份；抽检岗位每周看失败案例。没有编制，本地 Agent 会在上线 30 天后变成“还能打开的网页”。立项时把名字写进邮件，比多买一张显卡更关键。

验收时不要只收“一个网页聊天框”。更有价值的是：部署文档与权限矩阵；知识库更新手册；评测集与基线分数；监控与告警说明；源码 / 配置的归属与可审计说明。

醴陵真好提供 Agent 标准版（¥50,000 起）、企业版（¥120,000 起，多 Agent 协作与工作流）与 RAG 知识库建设（¥20,000 起）。若你正在做厂商比较，把“场景一页纸 + 权限要求”发给我们，比直接问“能不能做 ChatGPT 一样的”有效得多。微信搜「醴陵真好」，或访问 服务价格 看完整口径。