在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
AWS Deep Learning Containers 团队演示了用 AWS DLC for llama.cpp 在 Amazon SageMaker AI 上部署决策模型。
#推理
AWS Machine Learning BlogAI 评分5656 AWS Machine Learning BlogAI 评分4747 使用 Ray LLM 深度学习容器运行多节点推理工作负载
summary_zh:
AWS Machine Learning Blog精选AI 评分6767 Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode
Postman 与 AWS 公开其 Agent Mode 在 Amazon Bedrock 上服务 4000 万开发者的生产架构，关键瓶颈是上下文而非模型能力。文章给出了动态工具选择、schema 查询和上下文处理器等可复用模式，以及 Bedrock 的跨区域推理、零数据保留和提示缓存实践。
推荐理由：原文从 4000 万开发者规模的生产环境中提炼出工具动态选择、结构查询和上下文管理三类模式，可迁移到自建智能体的团队。
AWS Machine Learning BlogAI 评分5555 BlockRun 与 Incarna 如何用 Amazon Bedrock AgentCore payments 实现智能体按次推理付费
Amazon Bedrock AgentCore payments 为智能体提供受治理的按需支付能力，Incarna 用它让自家智能体通过 x402 向 BlockRun 逐次支付模型推理费用。
Hugging Face Blog精选AI 评分6969 Nemotron 微调后在 IOI 与 IMO 均达到金牌水平
Nemotron Labs 团队微调 Nemotron 3，在 IOI 2026 和 IMO 2026 均达到金牌水平，分别得分 535.4/600 和 30/42。
推荐理由：原文给出可复用的四步微调配方，并开放检查点与数据，为竞赛级任务的领域专业化提供了具体参照。
NVIDIA Blog精选AI 评分7474 NVIDIA GPU 如何加速 OpenAI GPT-6 Astra Ultrafast
OpenAI 的 GPT-6 Astra Ultrafast 模式现已通过 API 及符合条件的 ChatGPT Work 和 Codex 用户开放，运行在 NVIDIA Blackwell GPU 上，token 生成速度比标准模式最多快 8 倍。
推荐理由：原文给出了 Ultrafast 相对标准模式最多 8 倍 token 生成提速，并说明这一加速如何压缩智能体的编辑、测试与调试循环。
Google DeepMind精选AI 评分7171 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布前沿模型 Gemini 4 Argon，已通过 Fairwind Program 向部分可信网络防御者推出，并将在未来逐步开放给付费 API 客户和 Google AI Ultra 订阅者。
推荐理由：原文给出 DeepSWE、AutomationBench 等基准的具体得分和内部代码迁移与内存优化实例，可用于评估该模型在长周期工程和企业任务中的实际影响。
Google DeepMind精选AI 评分6969 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型
Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking，主打近实时推理与语音智能体能力。
推荐理由：原文给出 82.6 的语音质量指数与多组语音智能体基准分数，可据此比较前沿语音模型在生产场景中的能力与成本。
Berkeley AI Research精选AI 评分6060 K-Search 如何将 CUDA 内核经验迁移到 Apple Silicon
K-Search 通过新增 MLX 后端和结构化 CUDA-to-MLX 翻译层，在 Apple Silicon 上把 CUDA 内核优化知识自动迁移为 MLX 内核，不再从零重建。
推荐理由：原文给出 CUDA 到 MLX 的翻译层设计和注意力、Mamba 内核的实测吞吐，可用于判断该方法迁移到其他非英伟达硬件的潜力。
Berkeley AI ResearchAI 评分4343 自适应并行推理：高效推理扩展的下一范式
自适应并行推理是高效推理扩展的下一范式，核心是让推理模型自行决定何时分解并并行化独立子任务、启动多少并发线程以及如何协调。文章对比了自洽性/多数投票、Best-of-N、MCTS、ParaThinker、GroupThink、Hogwild! Inference 等并行推理方法，指出它们大多由模型外部固定并行结构，难以适配不同问题的并行度需求。