FEM-Bench 扩展评测:科学代码通过自检,仍可能算错
预印本
学术成果
科学编程
有限元
独立验证
首次提交:2026-11-16 14:35 UTC
研究贡献研究将有限元评测扩展至17项非线性、历史依赖与结构动力学任务,对15个模型分别测试代码实现和测试生成,每项运行5次;再对其中6个模型比较单次生成、SimpleAgent与OpenHands。作者用外部参考实现判定数值正确性,并区分三次至少成功一次的Pass@3与三次全部成功的Pass³,避免把多次尝试的最好结果当成稳定能力。
证据与局限作者报告Opus 5配SimpleAgent的Pass@3为96.5%,Pass³仅77.1%;分离编码与测试的探索性组合最高达88.8% Pass³。仅17项任务、每项5次,框架同时改变提示、工具和提交规则,不能单独归因于多智能体设计。公开仓库只含33项旧任务,不含新留出任务和实验数据,完整复现受限;本刊未独立复现。
249条已完成但错误的智能体提交中,73.1%被标为测试覆盖不足;分类可重叠,且不代表所有运行的失败率。标签依赖模型裁判。实际启示是用独立数值依据检查结果,并确保提交版本与已测试版本一致。