计算机科学 · 香港

Steven Huang.

构建 Agent,也认真评测它。

我在香港大学读计算机科学硕士。平时做一些 Agent 工具和评测实验,也把过程中的发现记下来。

Harness / 评测 / 从反馈中改进

像素风人物坐在书桌前,旁边有书、台灯和电脑像素风人物坐在书桌前,旁边有书、台灯和电脑
我的工作台GitHub 上的老面孔,在这里留个位置。

01 / 项目

正在做的事

围绕 Agent 的工具与实验。

全部项目
01 / TOOLING · EVALUATIONGitHub

skillfit

在相同任务上比较 Skill、规则和 MCP 配置,同时看任务质量、触发行为与 Token 成本。

相同任务 · 配对运行
A基线配置
/
B新配置
任务质量触发行为Token 成本
02 / HARNESS · TOOL USEGitHub

DeviceAgent Arena

用于评测中文工具调用 Agent 的实验环境。操作会改变后续状态,评测同时检查最终结果与执行轨迹。

有状态任务 · 闭环执行
任务Harness工具
观测 → 下一次决策
最终状态完整轨迹

02 / OPEN SOURCE

把改动带回上游。

给自己使用和关注的开源项目做的一些贡献。

查看贡献记录

03 / 笔记

翻翻笔记本

阅读、参考资料,以及想留下的发现。

全部笔记

打个招呼

保持联系。

可以聊聊项目里的问题,也欢迎交换想法。

huangshuaidi666@gmail.com