SGLang 团队推出 Low-Latency Mode，通过插件框架引入专用内核，在 NVIDIA GB300 和 AMD MI355X GPU 上显著降低推理延迟。 🔗 阅读原文 via AIHOT · https://aihot.news/items/a1dez7azk8nkmj0mgeb9pep03
信息源：AI HOT · 精选
- 原文链接：SGLang 发布 Low-Latency Mode，通过插件框架在 NVIDIA 和 AMD GPU 上降低推理延迟
- 分类：AI 产品
- 作者：LMSYS Blog
- 发布时间：2026/10/18 00:00
评论0