v0.3 threshold 再定義 — Voynich anchor 中間帯 (Bw ∈ [2,3] AND Dw ∈ [0.15, 0.75]) + Permutation 方向反転 +3.54σ (但し 有意 未達 p=0.125)
STEP 1861 Phase 1c の 3 evidence (Voynich anchor Bw=2、 Bw plateau、 Dw 山型) を 基 に v0.3 threshold を 中間帯 に 再定義。 14 domain 4 YES (voynich/esperanto/markdown/structured_log、 chess_syn 自動排除 = 独立 review § 3 解消)。 Permutation test: chance mean 6.74 → 2.44 (大幅タイト化)、 z-score -1.91 → +1.63 (方向反転 +3.54σ)、 p=0.125 で α=0.05 有意 未達。 「directional 改善 evidence あり、 statistical significance 未達」 の 誠実 land。
1. v0.2 → v0.3 threshold 変更 根拠
STEP 1861 Phase 1c 3 evidence:
- Voynich anchor Bw=2 実測 (陽性クラス 参照先 確定、 藤本さん note 「4 語」 上回る)
- Bw plateau (0-90% template で Bw=1) = Bw=1 は 「vocabulary large」 で ランダム系 と 同 側、 Voynich Bw=2 と 区別 要
- Dw 山型 (中央 で 最大、 両極 で 床) = 中間帯 で 定義 が 妥当
v0.3 threshold:
Bw ∈ [2, 3](Voynich anchor + 1 neighbor)Dw ∈ [0.15, 0.75](床 除外 + 山型 右側 拡張)wordCount ≥ 1000(継承)
2. 実測 (14 domain の 判定 変化)
| domain | Bw | Dw | v0.2 | v0.3 | 変化 |
|---|---|---|---|---|---|
| voynich | 2 | 0.230 | YES | YES | anchor 保存 ★ |
| esperanto | 3 | 0.323 | YES | YES | 保存 |
| markdown | 3 | 0.323 | YES | YES | 保存 |
| structured | 3 | 0.717 | YES | YES | 保存 |
| chess_syn | 4 | 0.426 | YES | no | 自動排除 ★ (独立 review § 3 解消) |
| chess_famous | 11 | 0.136 | no | no | 継続 |
| json_schema | 7 | 0.798 | no | no | 継続 |
| regex | 11 | 0.292 | no | no | 継続 |
| hash | 1 | 0.100 | no | no | 継続 (Bw 範囲外) |
| uuid | 2 | 0.100 | no | no | 継続 (Dw 床) |
| numeric | 1 | 0.100 | no | no | 継続 (Bw 範囲外) |
| english_baseline | ~ | ~ | no | no | 継続 |
| dna | N/A | N/A | N/A | N/A | 継続 (wordCount<1000) |
| protein | N/A | N/A | N/A | N/A | 継続 (wordCount<1000) |
3. Permutation Chance Level (10,000 iteration)
| 指標 | v0.2 (STEP 1861) | v0.3 (STEP 1862) | 差 |
|---|---|---|---|
| observed YES | 5 | 4 | -1 |
| chance mean | 6.74 | 2.44 | -4.30 (大幅タイト化) |
| chance std | 0.91 | 0.96 | +0.05 |
| chance p95 | 8 | 4 | -4 |
| chance p99 | 9 | 5 | -4 |
| p-value | 1.0000 | 0.1248 | -0.875 (下振れ→上振れ) |
| z-score | -1.912 | +1.629 | +3.54σ (方向反転) |
| null 判定 | CANNOT REJECT (下振れ) | CANNOT REJECT (上振れ) | 方向 反転 |
v0.3 は v0.2 より 明確 に 改善 (+3.54σ shift)、 但し p=0.125 で α=0.05 有意 未達 (統計的 power 不足)。
4. 誠実な 立ち位置
言える こと:
- v0.2 → v0.3 の 3.54σ shift = threshold 再定義 が directional signal を 拾って いる
- chess_syn の false positive 自動排除 = 独立 review § 3 の 直接応答
- Voynich anchor (Bw=2) + Dw 中間帯 定義 は 意味的 に 一貫
言えない こと:
- 「v0.3 signature valid」 → 未達 (p=0.125 > 0.05)
- 「意味論 動作」 → n=14 で 統計的 power 不足、 主張 不可
- 「真陽性 4/4」 → Voynich anchor 単発 (n=1)、 他 3 の 陽性性 は 別 anchor 要
5. Distribution shift の 意味
v0.2 distribution (STEP 1861): 5: 765 ████ ← observed (下端、 下振れ) 6: 3270 ████████████████ 7: 3976 ████████████████████ ← chance mode 8: 1785 █████████ 9: 198 █ 10: 6 v0.3 distribution (STEP 1862): 0: 149 █ 1: 1415 ███████ 2: 3674 ██████████████████ ← chance mode 3: 3514 ██████████████████ 4: 1131 ██████ ← observed (上端、 上振れ) 5: 117 █
- v0.2: observed が chance 分布 の 下端 = signature が chance より 少ない
- v0.3: observed が chance 分布 の 上端 = signature が chance より 多い
- 但し 両者 とも α=0.05 で 統計的 有意 未達 (n=14 の 制約)
6. v0.4 送り 6 事項
- positive class 拡張: Voynich transcription 別 (Currier vs Landini)、 sub-corpus 別 (herbal / astronomical / biological section) で n=2-4 anchor
- held-out cross-validation: n が 増えたら leave-one-out で threshold 決定
- continuous score: binary threshold の 代わり に (Bw, Dw) 距離 score
- domain 追加: 30+ domain で 統計的 power 確保
- cmix binary (axis E 追加、 継承)
- english_baseline 差替 (Shannon anchor、 継承)
7. Failure mode dataset (STEP 1861 の 13 に 追加 1)
14. 統計的 有意 未達 の 「directional 改善」 を 「validated signature」 と 呼ばない: v0.2 → v0.3 の 3.54σ shift は 意味 ある 変化 だが p=0.125 は α=0.05 で reject 不能、 「trend evidence」 と 「statistical significance」 を 混同 しない。 前 turn STEP 1856 「意味論 動作」 主張 と 同 pattern の 過剰主張 予防。
8. STEP 1848 pattern 5 段階目
- STEP 1848: Cowork side data-found bug
- STEP 1849: sibling bug の 独立発見
- STEP 1860: 藤本さん CSV review 5 指摘
- STEP 1861: permutation で 定量 決着 (chance 下振れ)
- STEP 1862: threshold 再定義 で 方向反転 (+3.54σ)、 但し 有意 未達 の 誠実 land
「私 の 主張 → 独立 review 反証 → 私 の 実装修正 → 進歩 evidence + 未達 明示」 の pattern。 STEP 1862 は 「retract 後 の 再構築 で 進歩 は evidence あり だが 主張 は 抑制」 の 例。
9. 関連 STEP
10. 詳細参照
- 実装:
scripts/domain-family/{characterize.ts, permutation-chance.ts} - CSV: characterization-v0.5-v03-signature.csv
- Permutation raw: permutation-chance-v03.json
- Notepad: 2026-09-07T02-25 STEP 1862
- Fragment: notes/steps/STEP_1862.md
- ← Tools index に 戻る