SPEX 与 ProxySPEX 实现 LLM 交互的大规模识别
Berkeley AI Research 提出了 SPEX 与 ProxySPEX 两个算法,利用稀疏性、低度性与层级性,把交互发现规模从几十个组件扩展到数千个。ProxySPEX 用约十分之一的消融次数达到与 SPEX 相当的性能,并已用于长上下文特征归因、数据归因和注意力头剪枝。代码已并入 SHAP-IQ 仓库。
Berkeley AI Research 提出了 SPEX 与 ProxySPEX 两个算法,利用稀疏性、低度性与层级性,把交互发现规模从几十个组件扩展到数千个。ProxySPEX 用约十分之一的消融次数达到与 SPEX 相当的性能,并已用于长上下文特征归因、数据归因和注意力头剪枝。代码已并入 SHAP-IQ 仓库。
Berkeley AI Research 团队开发了一种基于信息量的成像系统评估与优化框架,仅用噪声测量和噪声模型估计互信息。其 NeurIPS 2025 论文显示,该指标在彩色摄影、射电天文学、无透镜成像和显微镜四个领域预测了下游任务表现。按该指标优化的设计与 SOTA 端到端方法相当,但所需内存和计算更少,且无需任务专用解码器。