Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。 🔗 阅读原文 via AIHOT · https://aihot.news/items/mlusnw9gi199uld4ixj58m2cz
信息源:AI HOT · 精选
- 原文链接:Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎
- 分类:AI 产品
- 作者:Google Developers Blog
- 发布时间:2026/10/20 00:00

评论0