返回项目

02 / HARNESS · TOOL USE

DeviceAgent Arena

把整个执行过程纳入评测。

用于评测中文工具调用 Agent 的实验环境。操作会改变后续状态,评测同时检查最终结果与执行轨迹。

Python / Stateful tasks / Reproducibility

想解决的问题

选对一个函数只是工具使用的一部分。Agent 还需要在连续操作中处理状态变化、信息缺失、故障,以及合理的停止条件。

做法

通过有边界的 Harness,在确定性的文本模拟环境中运行状态转换与故障注入。评测检查最终世界状态和完整执行轨迹,也探索小模型训练与组合执行。

证据与边界

实验报告和复现指南记录了环境设置与局限。开发集规模较小,并与训练任务共享指令模板;结果描述的是这个实验环境,不能直接推断生产表现。