AI产品开发者应重视基准测试
如果你在用AI构建产品，你应该花超过25%的时间来做基准测试，并努力让模型实验室关注这些基准测试 这是加速公司进展的最简单路径 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubsio0n08z2roci93ce9wgi
正在加载页面…
正在加载简报…
共 1,899 条 · 当前 1117–1128 条
如果你在用AI构建产品，你应该花超过25%的时间来做基准测试，并努力让模型实验室关注这些基准测试 这是加速公司进展的最简单路径 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubsio0n08z2roci93ce9wgi
小米发布 MiMo-V2.6 Pro 与 Flash 两个全模态开源模型，称通过规模化强化学习训练，Pro 在多数 Agent 基准上与 Claude Opus 5 和 GPT-5.6 Sol 表现相当。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubsfexm05j7rocibudjfvwd
Mark Zuckerberg 宣布与 Shopify 合作，让用户在 Muse 内更方便地购物和结账。据 Shopify CEO Tobi Lütke 引文，双方将深度合作，在所有 Shopify 商店启用基于 Shop Pay 的 agentic checkout；Zuckerberg 表示还会有更多类似合作。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubt3zdb09n2roc...
小米 MiMo-V2.6-Pro 在 Design Arena 以 Elo 1338 位列总榜第 8、开源权重第 3，较 MiMo-V2.5-Pro 提升 54 分、22 个名次。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubsxf3709e2rocicw7d08a6
🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubswc5s09cqrociovwrsegg
NVIDIA 技术博客讲解 AI Agent 评估如何从单次函数调用打分演进到端到端任务完成打分，指出 BFCL 只评单次调用而完整评估需要可执行环境和 trace 记录。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubrtsmy04y9rocicymjm85h
AWS Strands Agents 团队发布开源通用 agent harness Strands harness，基于 Apache 2.0 提供 Python 和 TypeScript 版本，一行 create_harness（） 即可运行，支持 Bedrock、Anthropic、OpenAI、Google、Ollama 和 LiteLLM。 🔗 阅读原文 via AIHOT · https://aihot.news/items...
强烈赞同。这种情况比我预期的要少得多--部分原因是构建高质量环境通常涉及相当昂贵的验证（测试强模型）。尽管如此，还可以有更多。 【@Thom_Wolf】：发布大量高质量的开源RL环境是当前任何人推动开源前沿所能做的最有影响力的事情 相当于分享高质量预训练数据，但在新的RLVR范式下 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubscr1y05g8rociuycwonyw
Codos 发布虚拟首席 AI 官软件，可为企业规划并执行 AI 部署，面向 300 至 3000 人的金融科技、电商、科技、地产、零售和服务业公司。其引用推文称这是首个虚拟首席 AI 官，能访谈员工、跨职能部署自动化并运行在客户自有服务器上。公司称一家中型金融科技客户经六个月项目，用智能体处理入职、QA、财务和客服，释放了约 21% 的总人力。 🔗 阅读原文 via AIHOT · https://aihot.news/items/...
小米发布 MiMo-V2.6，包含 Pro 和 Flash 两个全模态模型，通过规模化强化学习训练。官方称 Pro 在多数 Agent 基准上与 Claude Opus 5 和 GPT-5.6 Sol 表现相当，在 Artificial Analysis Intelligence Index 得分 46，为开源模型中最高；模型权重、技术报告、RL 环境和训练代码均已开放。 🔗 阅读原文 via AIHOT · https://aiho...
MiMo-V2.6-Pro 在 Code Arena： WebDev 榜以 1628 分（AutoEval）位列总榜约第 10 名，与 Claude Fable 5 （High） 持平，开源权重模型中约第 3。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubruubx0509rociezglycrt
MiMo V2.6 Flash 接下来一周免费 Flash 和 Pro 在 Go 中也可用 🔗 阅读原文 via AIHOT · https://aihot.news/items/cmubrg2lz04n4rociy3s3zltl