AWS Machine Learning Blog· Mona Mona·· 2 小时前AI 评分35
Amazon SageMaker AI 上的 Mixture-of-Experts kernel 工程
Mixture-of-Experts kernel engineering on Amazon SageMaker AI
AI 导读
Amazon SageMaker AI 为 fused MoE 模型实现 Swap-AB 与 FP8 后端路由优化，Swap-AB 在 H200 上带来 2–4% 端到端输出吞吐提升。
来源：AWS Machine Learning Blog · aws.amazon.com