多数企业谈 AI Agent 时盯着选型和上线,好像系统跑起来就完事了。真正的问题在上线之后:知识库会过期,提示词要迭代,Agent 偶尔会给出离谱的回答,这些谁来处理。没有维护机制的 AI Agent,用三个月就会因为错误太多被业务部门弃用,钱白花。
知识库和提示词要有人持续养
AI Agent 的输出质量取决于两样东西:知识库和提示词。知识库里的制度文件、产品手册会更新,不更新 Agent 就按旧规则回答;提示词要跟着业务反馈调,同一句话问十次有两次答偏,就该改提示词或补知识了。这项工作得指定责任人,业务部门出一个人当"喂养人",负责定期更新资料、收集错误回答,别指望供应商免费维护一辈子。
上线前就谈好维护责任边界和费用,写进服务合同。
高风险动作必须留人工闸门
Agent 的能力边界要清楚:让它查资料、汇总、起草草稿没问题,让它直接对外发函、改价格、删数据就要谨慎。稳妥做法是分级授权——低风险动作自动执行,中高风险动作生成结果后由人确认再放行。比如客服 Agent 可以自动回复常见问题,但涉及退款、投诉升级必须转人工。这个闸门设计在选型时就该确认系统支持,上线后再补会很麻烦。
还要留复核机制,抽查 Agent 的处理记录,错了能及时发现,而不是等客户投诉。
效果怎么衡量,指标先定下来
维护的前提是能衡量。上线前定几个核心指标:人工介入率(多少对话需要转人工)、准确率(抽样判断回答对不对)、处理时长(单次请求耗时)。每月看一次趋势,介入率不降反升,说明知识库或流程有问题。指标不用多,三四个就够,关键是坚持记录。没有数据的维护都是拍脑袋,老板问"这个 Agent 到底有没有用"时,只有数据能回答。
维护和兜底都要落在预算里。AI Agent 不是装完就完的软件,知识库更新、提示词调优、效果监控是持续投入,要么内部安排人兼职负责,要么与服务商签维护协议按年付费。立项时就把维护预算和责任人写进去,运行时才不会因为没人管而荒废。企业常犯的错是只批了建设费、没批运营费,系统上线半年后进入无人维护状态,准确率一路下滑,业务部门用几次就不再用了。
AI Agent 的价值在长期迭代中体现,不是上线当天。维护机制、人工兜底、效果指标三件事在项目启动时就安排好人、预算和责任,比系统本身更决定成败。对中小企业来说,从单一场景试起,配一个兼职责任人,先把闭环跑通,比一上来铺多个场景更现实。
AI Agent 的成败在上线之后,天蓬数字科技做软件定制时体会很深。交付给客户的系统都带维护方案:明确知识库更新人、效果指标和人工兜底节点,而不是交付即失联。持续喂养和纠错机制才是让 Agent 活下来的关键。