AWS Machine Learning Blog· Khaled Thabit·· 2 小时前精选AI 评分72
Property Finder 如何修复评估偏差以在 Amazon Bedrock 上选出更优模型
Fix evaluation bias to unlock better models on Amazon Bedrock
AI 导读
Property Finder 与 AWS 团队在 Amazon Bedrock 上修复评估偏差并选定 Llama 4 Maverick 17B Instruct,在 356 张图片评估集上取得 0.80 Micro F1,高于原生产模型的 0.56,成本降低 86%。
推荐理由
该案例指出 96.8% 的评估标签直接取自既有模型,导致评测失真;重建人工 ground truth 后选定 Llama 4 Maverick,成本降低 86%。
来源:AWS Machine Learning Blog · aws.amazon.com