我们是否过度信任 AI 说"不"的能力
MIT Technology Review 刊文指出，AI 的拒绝能力已成为 AI 安全的"承重墙"，但这一机制并不可靠。Anthropic 2021 年提出模型应"有用、诚实、无害"，如今各大公司通过红队测试和 AI 训练 AI 的方式让模型学会拒绝有害提示词，但拒绝机制基于概率，determined miscreants 已多次突破。
#Microsoft
MIT Technology Review · AIAI 评分4848
Microsoft ResearchAI 评分2222 Microsoft 研究员 Jennifer Neville 谈 AI 评测的意外失败与真实世界表现
Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动当前 AI 系统突破传统 benchmark 的性能边界，以及模型在超出传统基准测试时出现的"意外失败"。她指出，当结果偏离预期时，仔细审视训练数据至关重要，并分享了使用当前 AI 系统的实用建议。