在 M5 Ultra Mac Studio 上初试本地 AI:Hermes Agent 与 Qwen 3.8 Flash Next 的实用与局限
The Verge 作者在 M5 Ultra Mac Studio 上安装开源 Hermes Agent,选用约 105GB 的 Qwen 3.8 Flash Next,完成了每日简报、Steam 库分类和本地数据分析等任务。
The Verge 作者在 M5 Ultra Mac Studio 上安装开源 Hermes Agent,选用约 105GB 的 Qwen 3.8 Flash Next,完成了每日简报、Steam 库分类和本地数据分析等任务。
NVIDIA 与 Microsoft 在 Windows AI and Surface 活动上宣布 RTX Spark 进入 Windows 笔记本和紧凑台式机,笔记本今日开放预购、10 月 16 日上市,并预览了面向 Windows 的 DGX Station。
推荐理由:原文给出了 RTX Spark 的算力、内存和可本地运行模型,也列出了合作 OEM,可据此判断 Windows 本地 AI 的落地范围。
Liquid AI 发布两款开放权重决策模型 d1-3B 和实验性 d1-omni-600M。d1-3B 在 Decision Index 0.2.1 拿到 48.57 分,成为 10B 以下最佳决策模型,超过 Decider 35B-A3B 的 47.11 分。
推荐理由:原文给出 d1-3B 的 Decision Index 得分和三种 Jetson 设备的单题延迟,读者可据此判断端侧决策场景的实际开销。
Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2,以 740M 参数在统一嵌入空间中原生处理文本、图像、音频、视频和代码。
推荐理由:原文给出了参数规模、量化后的内存占用与多模态评测结果,便于读者评估端侧统一嵌入检索的落地成本。
NVIDIA DGX Spark 新增 64GB 统一内存配置,10月23日由宏碁、华硕、戴尔、技嘉、惠普和微星发售,起价 $4,999。该配置支持在设备上运行最高 100B 参数模型,双机集群通过 NVIDIA Sync Cluster Assistant 将内存池化到 128GB,可支持最高 200B 参数模型,性能最高提升 1.7 倍。
推荐理由:DGX Spark 64GB 以 $4,999 起售,并可通过双机集群扩展到 128GB 统一内存和最多 200B 参数模型,为本地智能体开发提供了更低的入门选择。
K-Search 通过新增 MLX 后端和结构化 CUDA-to-MLX 翻译层,在 Apple Silicon 上把 CUDA 内核优化知识自动迁移为 MLX 内核,不再从零重建。
推荐理由:原文给出 CUDA 到 MLX 的翻译层设计和注意力、Mamba 内核的实测吞吐,可用于判断该方法迁移到其他非英伟达硬件的潜力。