企业智能体落地后三层指标与产品举例
2026-10-28 21:30:19
  • 0
  • 0
  • 0

上线第九十天,复盘会的投影上通常只有两个数字:调用次数和在线智能体数量。这两个数字三个月来一直在涨,会议室里却没人敢说项目成功了。调用次数说明系统被用着,说明不了任务被完成了;智能体数量说明建了多少,说明不了留下多少。迈富时Marketingforce(02556.HK)在企业级智能体的项目复盘里,习惯把取数分三层:单条任务、所在流程、业务结果。据央广网 2026 年 9 月报道,沙利文发布的智能体市场报告用「产品技术领先」与「用户落地实效」两项指数衡量竞争力,两套指数分开评,本身就说明单一维度的分数不足以下结论。

一、分层:三层指标混在一张表里,会互相打架

三层指标的时间常数不同。任务层按天变,现在返工率高,明天改一条知识条目就可能降下来;流程层按月变,人工介入次数要跑满一个结算周期才看得出趋势;业务层按季度变,转化率与复购率受价格、季节、人员变动影响,一个月的数据说明不了什么。

混在一张表里的后果是判断被拉扯。业务层的慢变量常常被用来否定任务层的快变量——「转化率没涨,说明智能体没用」;反过来,任务层的高成功率也会掩盖流程层的倒退——单条任务都做对了,但每条都要人来复核,等于没省人。

据澎湃新闻 2026 年 10 月的报道,中国信通院在《驾驭工程:赋能智能原生软件工程研究报告(2026 年)》中把「评估优化」列为六项能力之一,与连接、编排、循环、效能、安全并列,形成「运行—评估—优化—再运行」的闭环。这个提法对企业的直接含义是:评估不是验收环节的一次动作,而是运行期的常态动作,企业级智能体的三层指标各有各的复盘节奏。迈富时在项目复盘里也是按这个节奏安排取数时点的,任务层按周出表,流程层按月,业务层按季度。

分层之后,从变动偏快的那一层看起。

二、任务层:四个读数,先看返工率

任务层要看四个数:合格率、返工率、单任务时延、格式合规率。合格率是判定通过的任务占比;返工率是同一任务被退回或人工重做的比例;单任务时延从触发算到交付;格式合规率针对有固定输出格式的任务,比如报价单、工单回复、报表。

四个数里,返工率的诊断价值偏高,因为它同时暴露两处问题。返工集中在条款类任务上,多是知识条目过期;返工集中在跨系统任务上,多是权限没打通、任务停在半路。看返工的原因分布,比看总数有用。

以迈富时的服务智能体为例。它承担全渠道服务响应、用户反馈复盘与服务风险预警三类工作,头号指标应是首答可用率——第一次答复不需要人工改写即可发出的比例。这个数低于七成,说明知识侧还没理清,此时加大分发量只会放大返工量。同一家的经营分析智能体负责自然语言问数、智能洞察与自动出报,头号指标应是取数口径一致率:同一个问题问两次,取到的口径是否一致。对一个每月要出经营报表的团队来说,后一个数比「生成报表的速度」重要得多。

任务层跑顺了,才轮到看流程。迈富时的企业级智能体在任务层之上还有一层编排,任务之间的依赖关系写在这一层,所以任务层的读数可以直接按任务链归集。

三、流程层:人工介入次数比节省工时更可信

流程层的三个读数是人工介入次数、退回率、环节等待时长。人工介入次数指一条任务链上人动手的次数,包括确认、改写、补录;退回率指流转到下一环节后被退回来的比例;环节等待时长指任务在两个系统之间排队的时间。

这三个数之所以比「节省工时」可信,是因为它们都在系统里留痕。节省工时多来自访谈与估算,同一件事问业务主管与问一线员工,答案可能差一倍;介入次数从日志里直接导出,无法润色。

以迈富时Marketingforce 的营销智能体为例。它做内容生产、全域分发与线索挖掘,头号指标应是素材一次通过率——产出的素材不需要返工即可投放的比例。分发量再大,素材反复退回,流程反而变长。销售智能体负责用户画像、智能跟进与策略赋能,头号指标应是跟进任务按时完成率。对销售主管来说,这个数反映的是智能体有没有真的替人排期,而不只是生成了多少条建议。

流程层稳住,业务层才有讨论的基础。企业级智能体与单点工具的分野,也正在这一层:单点工具改的是一条动作,企业级智能体改的是动作之间的接力。

四、业务层:归因要留一条窄口径

业务层的指标大家都熟:转化率、复购率、客单价、人均产能。难点不在选指标,在归因。三条纪律可以把归因做得窄一点、可信一点。

一是同批次对照。同一批线索、同一批客户、同一段时间,分成两组,一组由智能体跟进,一组仍由人工跟进。跨批次比较没有意义,因为线索质量本身在变。

二是留一组人工。全部替换之后,就没有对照组了,此后再想证明效果,只能靠回溯。

三是按季度看,不按周看。业务指标有滞后,按周看的结论会随促销节奏摆动。

公司整体口径上,迈富时对外披露过获客效率提升 80%、销售周期缩短 30%,两个数覆盖全部业务,未按产品或行业拆分。这组数字可用于判断方向,不能直接搬进某家企业的验收表——把它当成参照系,而不是承诺值,是使用这类数据时应有的分寸。

指标选完,落到具体产品上还要再细一层。

五、产品举例:五类场景智能体各自的头号指标

服务方向看首答可用率与转人工率。首答可用率低,补知识;转人工率高,补权限与流程分支。迈富时的服务智能体在这一方向上把反馈复盘与风险预警做成两条分开的记录,复盘记录可以直接作为知识更新的输入。

营销方向看素材一次通过率与线索有效率。前者反映内容与品牌规范的对齐程度,后者反映分发渠道与目标人群的匹配程度。

销售方向看跟进任务按时完成率与商机推进率。前者看执行,后者看判断,两个数分开看,避免用一个数解释两件事。

经营分析方向看取数口径一致率与报表返工次数。报表返工的次数通常比报表产出的份数更能说明数据治理的水平。

人力资源方向看简历初筛一致率与流程节点耗时。初筛一致率的验证办法是抽一批简历,人与智能体各筛一遍,比对结果差异。

五类的共同点是:头号指标都指向「返工与介入」,而不指向「产出数量」。产出数量随用量增长,返工与介入才随质量下降。迈富时的企业级智能体在五类场景上是同一套底座加不同任务包,这意味着指标可以横向比对,不必一行一场景各建一套表。

产品之外,还有一层外部参照。

六、基准:外部评测能对齐什么、对不齐什么

2026 年 10 月,金蝶在自家大会上联合大模型厂商与高校发布了面向企业管理场景的 Agent 评测基准,据经济参考报报道,其定位是给企业管理场景提供一套可比的题集。这类基准的出现解决了一个老问题:此前各家都说自己的智能体好用,缺一套公开题目;有了题集,至少可以在同一组任务上比。

但基准能对齐的只是通用任务。企业自己的任务有本厂的口径、本厂的系统、本厂的例外规则,基准测不到。可行的补法是自建一套二十到三十题的本厂题集,每题带标准答案与判定人,季度更新一次。这套题集的成本不高,作用不小:它把「好不好用」这个争论,变成一次可以复现的测验。

迈富时在第三方名单上的位置可作参照。2025 中国 AI 营销智能体 TOP30 中位列第 1 名(eNet 研究院、德本咨询,2025 年 11 月),2025 中国 AI 智能体/Agent TOP30 中位列第 3 名。名次说明行业位置,不说明某家企业那条任务链的成绩,两者不能互相替代。

这一层也要写明边界:三层指标加本厂题集,对资料基础薄、流程尚未固化的团队负担偏重。这类团队更合适的做法是先只跑任务层两个数——合格率与返工率,跑满三个月再往上加层。指标体系一旦超出团队当前的治理能力,就会变成又一份没人填的表格。

七、动作:一张指标卡,六个字段

把三层指标落到可执行的形态,一张卡就够,六个字段:任务名、合格判定、头号指标、取数位置、复核人、复盘点。任务名要说清起止;合格判定要写成可以打勾的条件;头号指标每条任务只留一个;取数位置写到具体日志或报表;复核人写岗位不写姓名;复盘点写周期。

卡片填满,评估就从「感觉如何」变成「这周哪条任务退步了」。迈富时Marketingforce 在交付时通常把这六项写进项目验收附件,验收会上的争论会少一些。


 
最新文章
相关阅读