STEP 2206 — 5-Layer Scorer 分布変更 (redistribution) — corrigendum #1 embed

2026-09-23 · rei-aios-59 · 6 items sequential #3 · chat-Claude 補足 「上位論文の選び分ける役 に あまり立っていない」 具体化
★ Corrigendum #1 (2026-09-23、 chat-Claude 3 point feedback embed 後)

本 STEP の 初版 title 「85% TRUE bias mitigation」 は 不正確。 実際 に 起きた こと は 「分布 が TRUE から FLOWING に 移動しただけ」 = 一つのラベル に 偏っている 状態 は 変わっていない (67.9% FLOWING)。 正解分布 は 未定義 (calibration target 未設定) のため 「bias 是正 = 改善」 とは 根拠なし で 主張できない。 84.7% TRUE が 悪い / 23.5% が 良い、 の 根拠 は 現時点 で どこにもない。 訂正 wording: 「mitigation」 → 「redistribution」、 「適正 preprint 分類」 の 主張撤回、 「改善」 の 判断保留。

Calibration target 定義 の 前提 (chat-Claude 明示): 閾値 数字 を 決める より 先に人手 で ラベル を 付けた 小 sample (~30 papers) の ground truth を 作成、 これ を 基準 に 「どちら の 設定 が 良いか」 を 測る。 ground truth なし で target を 「1 axis で 30-50% max」 と 決めるのは、 同じく 根拠なし の 数字。

Attribution: [via 藤本さん paste of chat-Claude(cloud) 3 point corrigendum feedback / verify + fix: rei-aios-59]
Summary: 5-Layer Scorer heuristic path の 85% TRUE bias (STEP 2202 chat-Claude 補足指摘) を 訂正。 TRUE marker から math preprint ubiquitous 語 (theorem, show that) 削除 + default fallback を TRUE → FLOWING 変更 (Haiku SYSTEM_PROMPT spec 準拠 「provisional / preprint not yet validated」)。 実測: TRUE 84.7% → 23.5%、 FLOWING 8.4% → 67.9%

Root cause (chat-Claude 補足 の 具体化)

scoreL4Heuristic() (src/aios/reproducibility/five-layer-scorer.ts:163) の 2 pattern が TRUE bias 生成:

  1. TRUE markers ubiquitous: \btheorem\b + \bshow that\b は math preprint 過半 に emerge (「A theorem for...」「We show that...」 boilerplate)
  2. Default fallback = TRUE: const primary = sorted[0][1] > 0 ? sorted[0][0] : 'TRUE' = marker match なし で TRUE 割当、 但し 「no explicit D-FUMT₈ signature」 は 「validated proof」 ではなく 「provisional preprint」 と解釈するのが 適切 (per Haiku prompt)

Implementation

File: src/aios/reproducibility/five-layer-scorer.ts

(a) TRUE markers tightened

Before: [/\bprov(e|en|ed)\b/, /\btheorem\b/, /\b(formal|rigorous)\s+proof\b/, /\bestablish(ed)?\b/, /\bshow that\b/]
After:  [/\bprov(e|en|ed)\b/, /\b(formal|rigorous)\s+proof\b/, /\bestablish(ed)?\b/]

Removed theorem+show that (ubiquitous)、 kept explicit proof markers only。

(b) Default fallback FLOWING

Before: const primary = sorted[0][1] > 0 ? sorted[0][0] : 'TRUE';
After:  const primary = sorted[0][1] > 0 ? sorted[0][0] : 'FLOWING';

(c) FLOWING markers 拡張

\bpreprint\b 追加 = preprint-explicit paper は 明示 FLOWING に。

Test 結果 (実測 redistribution)

D-FUMT₈ valueBefore (STEP 2202)After STEP 2206Δ pp
TRUE111 (84.7%)19 (23.5%)−61.2
FLOWING11 (8.4%)55 (67.9%)+59.5
BOTH5 (3.8%)4 (4.9%)+1.1
FALSE3 (2.3%)2 (2.5%)+0.2
NEITHER1 (0.8%)1 (1.2%)+0.4

効果 verify: preprint 適正分類 に emerge。 「A Coordinate System for Collatz Dynamics」 が dynamics marker で FLOWING 割当 (以前 TRUE)、 「Gardam's Ã₂ Lattice Does Not Have Unique」 は FALSE 維持 (correct)、 「Machine-Checked Proof」 系 は TRUE 維持 (correct)。

Honest scope