评测实验临时备忘录（2026-09-07）

训练已停在 round-003 / iter 80。本文只排本 session 要做的事，不改 selection 规则，不重训。做完一项勾一项。

0. 冻结口径

所有新评测共用训练循环 val/gate 的协议，本机 sglang，不用 SiliconFlow。

权重与 skill（只读，不改内容）：

同一时刻只挂一份权重。换权重必须换 experiment.name 和 checkpoint_id，并在 bare/equipped/补测期间保持服务冻结。 0830 SiliconFlow 的 val/test（2048 / top_p=0.95 / top_k=20）不与本表数字混画。

对比一律用 scripts/compare_shopsimrl_runs.py（task-aligned bootstrap）。历史 positive vs negative 因双进程重复写目录，不作正式证据。

1. 目录：先清 round-4，再归档被覆盖的旧评测

未完成的第 5 轮直接删，不进 archive。不要误删 HF 分片 model-00004-of-00019.safetensors。

删除：

runs/slime-training/round-004/
runs/round-004-online-analysis/
runs/round-004/
runs/loop/round-004/

旧评测 config 将被新本地协议覆盖；对应 runs 先搬到 runs/archive/，否则新实验若复用目录会撞 fingerprint。

runs/archive/qwen35-4b-test-0830/
runs/archive/qwen35-4b-val/
runs/archive/qwen35-4b-test-paired-delta-positive/
runs/archive/qwen35-4b-test-paired-delta-negative/
runs/archive/qwen35-4b-test-paired-delta-positive-vs-negative/

不动：round-000～003 全套、slime-training/round-000～003、slime-qwen35-4b、slime-qwen35-4b-hf、qwen35-4b-train-0830/（含 \(S_0\) 与 16-chunk draft）、snapshots/。

随后覆盖这些 yaml（内容对齐 §0，实验名如下）。qwen35_4b_train.yaml 与 trace2skill_*.yaml 先不动。

skills.path 只允许 \(S_0\) / \(S_T\) / ranking bank；max_skills 必须 null。

2. 实验顺序（一个一个做）

A. 基座 test：skill-free 与 \(S_0\)

服务基座 HF。先 plan 再 run。

1. qwen35-4b-test-base-free：无 skill。得到 \(R_{\mathrm{free}}^{\mathrm{base}}\)。
2. qwen35-4b-test-base-s0：注入冻结 \(S_0\)。得到 \(R_{\mathrm{pair}}^{\mathrm{base}}(S_0)\)。

对比：\(R_{\mathrm{pair}}^{\mathrm{base}}(S_0)-R_{\mathrm{free}}^{\mathrm{base}}\) = Trace2Skill（冷启动 skill）在基座上的增量。

B. 终局 test：skill-free 与 \(S_T\)

停 sglang，改挂 runs/slime-qwen35-4b-hf。

1. qwen35-4b-test-iter80-free：无 skill。得到 \(R_{\mathrm{free}}^{T}\)。
2. qwen35-4b-test-iter80-st：注入冻结 \(S_T\)。得到 \(R_{\mathrm{pair}}^{T}\)。

对比：

• \(R_{\mathrm{free}}^{T}-R_{\mathrm{free}}^{\mathrm{base}}\)：参数内化（同协议基座对照）
• \(R_{\mathrm{pair}}^{T}-R_{\mathrm{free}}^{T}\)：终局 internalization gap
• \(R_{\mathrm{pair}}^{T}-R_{\mathrm{free}}^{\mathrm{base}}\)：共同演化相对裸基座的上界
• \(R_{\mathrm{pair}}^{T}\) vs \(R_{\mathrm{pair}}^{\mathrm{base}}(S_0)\)：模型已换、skill 已换，只作描述、不作因果

C. contribution 排序（ranking）

不改历史 \(S_0\)。旧 Gate A 是 SiliconFlow / 可能带截距，不复用那份 beta。在本地基座上重新拟合，只在 test 上评估排序。

预先冻结、看结果前不得改：

• \(K=4\)（有符号 beta 从大到小，不是 |beta|）
• Random-4 原计划 5 个 subset seed：20260907…20260911；本 session 只跑 20260907，其余 seed 的 yaml 保留但不跑
• Top-4 / Bottom-4 来自本机 paired-delta Gate A，不是 recovered 的 10-chunk \(S_0\)

步骤：

1. [x] 再挂基座。跑 qwen35-4b-val-base-free（400 bare val）。
2. [x] 对 16 draft chunk 跑本地 Gate A（masked val，复用上一步 bare）。产物写新目录 runs/qwen35-4b-val-base-gate-a/，不要写进历史 gate-a/。
3. [x] 按该 beta 冻结 bank：Top-4、Bottom-4、Random-4（20260907）。
4. [x] 在 test 上跑 Top / Bottom / Random-20260907。Bare 复用 A.1，不重跑。Random 曾欠费中断，已 resume 至 coverage=1。
5. [x] 报告 Top−Bottom、Top−Random、Random−Bottom 的 task-paired 差与 95% CI（单 seed）。对比见 runs/qwen35-4b-val-base-gate-a/ranking_test_comparison.json。

实验 B（新 mask 上 C^T beta 与实测 delta 的 Spearman）有预算再做，本备忘录不排进第一批。

3. 建议动手顺序

1. 删 round-4 残尾，archive 旧评测 runs，覆盖/新增 yaml。
2. 起 ShopSimulator + 基座 sglang，做 A.1、A.2。
3. 换终局权重，做 B.3、B.4，写四组对比。
4. 再挂基座，做 ranking（C）。

当前 ShopSimulator 与基座 sglang 仍在跑（补 Random 后未关）。

4. 本 session 数字（本地协议，test 400，coverage=1）

主实验：

Ranking（基座；K=4；Random 仅 seed 20260907）：

Top−Bottom Δreward = −0.029，CI 跨 0 [−0.070, +0.011]。点估计与 val beta 排序相反，但 95% CI 不能拒绝零。