02 / HARNESS · TOOL USE
DeviceAgent Arena
把整个执行过程纳入评测。
用于评测中文工具调用 Agent 的实验环境。操作会改变后续状态,评测同时检查最终结果与执行轨迹。
想解决的问题
选对一个函数只是工具使用的一部分。Agent 还需要在连续操作中处理状态变化、信息缺失、故障,以及合理的停止条件。
做法
通过有边界的 Harness,在确定性的文本模拟环境中运行状态转换与故障注入。评测检查最终世界状态和完整执行轨迹,也探索小模型训练与组合执行。
证据与边界
实验报告和复现指南记录了环境设置与局限。开发集规模较小,并与训练任务共享指令模板;结果描述的是这个实验环境,不能直接推断生产表现。