IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。 🔗 阅读原文 via AIHOT · https://aihot.news/items/b1pcaa7ceghor24vjgsjagqqd
信息源:AI HOT · 精选
- 原文链接:llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪
- 分类:AI 产品
- 作者:IBM Research:AI
- 发布时间:2026/10/20 20:00

评论0