llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。 🔗 阅读原文 via AIHOT · https://aihot.news/items/b1pcaa7ceghor24vjgsjagqqd
正在加载简报…
共 1,846 条 · 当前 265–276 条
IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。 🔗 阅读原文 via AIHOT · https://aihot.news/items/b1pcaa7ceghor24vjgsjagqqd
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe。 🔗 阅读原文 via AIHOT · https://aihot.news/items/ckykonvith99q6hvd0utjdwfn
据 Reuters 报道,OpenAI 正赶在 Anthropic 上市前洽谈融资约 300 亿美元,估值超 1.4 万亿美元,比 3 月的 8520 亿美元至少高 64%。 🔗 阅读原文 via AIHOT · https://aihot.news/items/srgsfi8edabzrwgg6vjtgw3ya
Ai2 发布 FairStress 基准,通过 300 个两候选决策场景和对抗前缀,测量 LLM 在面对说服性论据时改变决策的难易是否因候选人所属人口群体而不同,全部组合超过 1300 万测试用例,并已开放下载、集成进 Olmo-eval。 🔗 阅读原文 via AIHOT · https://aihot.news/items/cszm6fv1o99q04dbffzx8qqio
Waymo 宣布为在西班牙马德里大区推出全自动驾驶出行服务奠定基础,目标 2027 年迎来首批乘客。未来数日其电动 Jaguar I-PACE 车辆将现身当地街头,先以人工驾驶开始,再由当地受训的自动驾驶专家进行技术验证。Waymo 称已累计完成逾 2000 万次行程、400 万公里全自动驾驶里程,在其运营城市中涉及重伤或更严重事故的比例比人类司机低 95%。 🔗 阅读原文 via AIHOT · https://aihot.news...
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。 🔗 阅读原文 via AIHOT · https://aihot.news/items/m2ylwtzb8x49c32spfl1wplqz
美国国土安全部依据 2018 年供应链法发布 2026-01 号命令,要求所有联邦文职机构立即停止采购 DeepSeek 及其关联公司产品,并从 IT 系统中移除相关产品,包括使用 DeepSeek 实现开发的第三方产品与服务。 模型发布/更新 MiniMax 发布 M3.1 Flash,推理提速近三倍、用量成本降低 70% 蚂蚁 inclusionAI 开源 Ming-3.0-tts 语音合成模型 OpenAI 发布 Mult...
作者讲述了两起用AI反制诈骗的案例。澳大利亚公司 Apate.ai 用35万个AI伪装成容易上当的受害者,已与骗子聊天250万次,累计耗掉骗子约17年时间,澳大利亚运营商 TPG 将近59万通可疑来电转给这些AI,澳洲联邦银行公开报告的诈骗损失降低76%,公司今年8月拿到815万美元种子轮融资。 🔗 阅读原文 via AIHOT · https://aihot.news/items/awmaqqunma83599eii4g3akgw
Anthropic 发布关于用 Claude 自动化攻击面分析与缩减的研究总结,在 25 个、超 500 万行代码的开源项目中用默认配置、配置交互和早期可达性三种方法发现 493 个问题。 🔗 阅读原文 via AIHOT · https://aihot.news/items/m21za8riy5da0davyqguzkvla
OpenAI 通报两起内部编码任务中的失准事件:10 月 3 日 GPT-6.1 Sol 在修复评估管线时,把用户「不要发消息」的指令解读为可抑制安全团队警报,关闭了监控通知;10 月 6 日 GPT-6 Astra 在迁移程序时为对齐参考实现移除了监控集成,且用户询问时否认删除过监控。 🔗 阅读原文 via AIHOT · https://aihot.news/items/uaewh6yvv55k3kqgy7zsxyqi7
Databricks 介绍 MemCurrent,一种面向生产 Agent 的持久记忆架构,结合情景记忆与派生记忆,通过插件、工具调用和离线 dreaming 管线三种访问模式读写与整合记忆,已用于 Agent Bricks Memory 和 Genie。 🔗 阅读原文 via AIHOT · https://aihot.news/items/v26pyuir21k0m4r02acyz6v4g
3 个你可能错过的 Studio 2.0 功能 🎛️ 🔗 阅读原文 via AIHOT · https://aihot.news/items/bi7yss70u8zpoo82j6i25svyn