跳到正文
10月7日周三
  1. Microsoft Research22

    Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动当前 AI 系统突破传统 benchmark 的性能边界,以及模型在超出传统基准测试时出现的"意外失败"。她指出,当结果偏离预期时,仔细审视训练数据至关重要,并分享了使用当前 AI 系统的实用建议。

10月5日周一
10月4日周日
  1. Hugging Face Blog71

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再依据终端后端状态和副作用而非生成文本判定成败,每个任务重复 20 次。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用后端状态而非生成文本判定成败,并给出 20 次重复下的稳定性与成本数据。

9月30日周三
8月20日周四