强模型不等于可靠Agent：从模型评测到业务闭环的四层测试体系

很多Agent项目的选型过程是先看模型榜单再挑一个推理能力强的模型接入工作流。Demo阶段通常效果不错但进入真实业务后问题开始出现检索命中了错误资料、MCP调用了不该调用的工具、模型输出格式不稳定或者任务虽然执行成功却没有解决用户问题。原因是模型评测只覆盖了Agent系统的一部分。一个生产级Agent至少需要四层评测模型层、智能体工程层、工具与权限层、业务结果层。第一层是模型评测。需要关注任务准确率、结构化输出成功率、长上下文稳定性、响应时间和调用成本。企业不应把所有任务固定在一个模型上。普通问答、复杂规划、OCR、视觉理解和内容生成可以分别使用更合适的模型并通过统一路由管理版本变化。第二层是智能体工程评测。复杂任务可以采用Planner、Generator、Evaluator结构。Planner负责拆解任务并定义验收标准Generator负责检索知识库、调用Skills或MCPEvaluator负责检查事实、格式、遗漏和风险。记忆贯穿流程用于沉淀用户纠错、历史任务和有效模板但不应被当成第四个执行角色。第三层是工具与权限评测。MCP Server让Agent能够连接外部系统但也扩大了风险面。测试时必须覆盖无权限访问、参数缺失、接口超时、重复调用和高风险写入。建议遵循只读优先、最小权限、日志留痕和关键操作人工确认的原则。第四层是业务结果评测。一个课程咨询Agent即使回答内容流畅如果使用了过期课程表或者无法处理报名后的服务流程仍然不能算成功。业务评测应关注问题解决率、转人工原因、知识命中情况、错误纠正率和用户是否继续使用。测试集可以采用如下结构case_id: course_023 user_role: enrolled_student input: 我已经报名下一步需要准备什么 expected_route: enrollment_aftercare required_sources: - enrollment_process_kb forbidden_actions: - modify_order checks: - answer_has_source - no_outdated_schedule - human_handoff_when_uncertain离线评测用于版本上线前回归测试。题目应覆盖正常命中、模糊提问、资料冲突、无知识命中、无权限访问、工具调用失败和高风险操作。在线评测则根据真实日志发现高频问题、能力缺口和异常调用再将典型问题脱敏后补充到测试集。评估方式也不应全部依赖另一个大模型。格式、字段、关键词、引用和权限可以使用确定性规则检查复杂语义质量可由Evaluator模型判断医疗、法律、财务、审批等高风险输出则需要人工复核。对于Haoee这类智能体运营平台评测闭环直接关系到创作者能否持续维护客户服务、知识和智能体版本。对于面向高校、政府、医院、国企等机构的私有化AI服务要素平台评测还必须与权限、日志、审计和数据不出域要求结合。强模型决定Agent的能力上限Harness、知识库、Skills、MCP、记忆和评估闭环决定它能否稳定进入业务。企业真正需要的不是一次榜单第一而是一套能持续换模型、测流程、控风险和积累经验的工程体系。