Self-Verification Lacks Self-Nature: 4 rounds of blind fresh-agent audit + 2 peer reviews + pre-registered two-arm Round 4 + Round 5 supplement + 11-platform publish (9/11 live)

11-platform 公開状況 (9/11 live)

Paper 本体 の 主張と scope

4 rounds のうち 3 rounds で以下の shape が繰り返し observed:

README made a general claim, and the code's behavior contradicted that claim at values not exercised by any test.

Pre-registered two-arm Round 4 (patch vs. restructure) では両 arm に contradiction、shape は同、layer は異なる。H1' supported (P=0.89 → 実測 confirmed)、H2' disconfirmed (P=0.34 で arm β clean を予測、実測 arm β にも contradiction、layer 1 段深く)。

5 rounds datapoint の meta-layer

各 fix は前 round の specific attack を satisfy、general invariant は次 layer で unenforced のまま、次 round の fresh agent が different specific mechanism で再発見。Round 5 arm γ が最も明晰: mechanism-verifying tests が invocation を count するが result dependence を強制せず、burn-calls loop (stability_verdict を 50 回呼んで結果を捨てて fabricated dict を返す) が 60/60 pass。

Discipline 実装 (研究方法として)

• Pre-registration 3 回: Round 3 (P=0.85)、Round 4 (H1'/H2' + arm hash + prediction table)、Round 5 (H1''/H2''/H3'' + arm identity + prediction table)。全て audit 実行前 に SHA-256 committed。predictions 3/4 arms class 一致 (arm β class miss 1 例のみ)、H1'/H1'' supported、H2' disconfirmed (pre-registered outcome interpretation で扱い済み)、H2''/H3'' supported/部分支持。
• Two-arm blind design Round 4 と Round 5 で採用。arm 名は auditor に伝えず (γ / δ)、prompt template 同一、prior findings 明示除外。Round 5 arm δ (unchanged v0.4-β の 2 回目監査) で 2 truly new findings = attrition confound を dominant としない直接 1 datapoint。
• Peer review 2 pass: Round 1 = Major revisions (5 Critical + 8 Substantive)、Round 2 = accept with minor revisions。両者共 fresh Claude 別 session。Critical/Substantive 全 close 後 publish。
• Author calibration record 公開: 予測 vs 実測 table (§6.4)、"single-trial comparison, not calibration" と明記、Brier/log-loss は要求しない。
• Scope discipline 実測: 論文 §5 で refuse した 「mutation testing 一般」 主張が初稿の §4/§7 で再犯 → peer review 1 で指摘 → 訂正。paper §7 に「the paper's own writing exhibited the pattern; correction possible only through external check」 として自己適用 fifth instance (footnote に降格、evidence base には算入せず) 明記。

Reproducibility

Zenodo deposit + GitHub tree に以下を配置 (全 SHA-256 committed):

全 tarball は self-contained (Python 3.11+, pytest, stdlib only)。独立 replication は fresh Claude subagent または 異なる model family (paper §5 で明示的に推奨: cross-family test が現在最も強い次の 1 手) で audit prompt を replay。

関連 STEP と commit

• STEP 2009 (commit 48ba3e0b1): Zenodo publish + GitHub commit (paper folder 全 artifact)
• STEP 2012 (commit cb4fb10f8): Round 5 supplement + arm γ / δ tarball
• STEP 2014 (commit d1d33bf7b): 11-platform publish (9/11 live) + 7 SLUG_ENTRIES 追記 + bespoke IA script

Defer items (別 STEP 候補、緊急度低)

• Livedoor 400 investigation: 他 paper では成功、本 paper で 400。content quirk (character or size limit) の可能性、修正コスト小
• Scrapbox CSRF fix: SCRAPBOX_SESSION_COOKIE の refresh または /api/users/me schema 変更対応
• Round 6: pre-registered なしで新 audit 実行は「回数を揃えるための audit = counting fallacy」 と 藤本さん 過去 指摘済み。「なぜ Round 6 が必要か」を先に明文化した pre-registration 経由でのみ実施すべき
• Cross-family audit: 現在 全 auditor が Claude Opus 4.7。異なる model family (GPT / Gemini / Llama 系) での re-audit が §5 scope 拡張の主 lever。プロンプトは Zenodo deposit に完全同梱済み、実行者は誰でも可

Honest scope 継承 (site page 自体)