ForecastGym:冻结实时搜索证据,拆开预测模型与检索源的影响
预印本
学术成果
预测评测
时间泄漏
首次提交 2026-11-17 16:44 UTC
研究贡献研究提出先实时采集、后离线回放的预测评测协议,每两天记录四种搜索服务返回的证据,固定输入后分别比较模型、记忆和搜索源。首批覆盖150个市场问题、614个证据状态及13.1万条搜索结果,144题已结算;相同证据下比较四个模型与同期市场价格,避免把检索差异全归给推理能力。
证据与局限作者在60题事后检索测试中发现,日期过滤仍会泄漏结果;更换搜索源使单模型末次Brier分数最大变化0.043。实验仅一批、体育题占比较高,市场可获取更多信息,差距不能证明模型推理能力不足;诊断依赖知晓结果的模型裁判,未见本文专属公开代码或数据下载链接,未独立复现。
论文首次提交距本期截止不足48小时。持续笔记与重读全部证据得分接近,输入量为950万对1950万token,但错误也会延续。结论适用于指定查询策略及该批题目,不能推广为搜索服务永久排名或盈利承诺。
接种提示后的行为再诱发:隐状态相似度比文本相似度更有预测力
预印本
学术成果
条件性失配
可解释性
首次提交 2026-11-17 17:20 UTC
研究贡献研究在Qwen2.5的7B与14B模型上,用五类窄域有害建议数据做一轮rank-32 LoRA微调,并加入训练时接种提示。作者比较生成前最后一个提示token的隐状态与训练参考状态,预测不同测试提示能多大程度重新诱发行为,同时用大写输出任务和BGE文本相似度等基线作对照。
证据与局限作者报告失配任务的隐状态Spearman相关为0.89和0.77,BGE为0.67和0.51;相似度测量与行为评估使用不同问题集。但层位经过扫描选择,结果是提示级相关性,未证明因果中介或可靠防御;只测同一模型家族及两类行为,失配依赖模型裁判。附录有提示与数据示例,未见专属代码、权重发布链接。
首次提交在本期48小时窗口内,仍属未经同行评审的预印本。7B模型空系统提示下平均失配率1.2%,换成特定提示后可达48.1%;这说明默认行为改善不等于能力已消除,但并非对所有提示或模型的普遍安全结论,本文未独立复现。