Paper 180 CONCEPT v0.1 — Statistical significance ⊥ semantic content (contrastive 2-case study)
Rei-AIOS session 内 の 2 実 case (Voynich 藤本さん note 2026-07-26 / Paper 179 Weaver Level B Task B) が dual pair を 形成 する 発見。 「A は overwhelming significance + zero interpretive depth、 B は minimal significance + candidate depth」 = magnitude と interpretation は orthogonal axes。 既存 discipline (Anscombe / Simpson / ASA statement) の 再提示、 novelty 主張なし。
1. The interpretive trap
Common reading: 「p < 10⁻⁸ ≫ p = 0.05 → Case A の 方が 大きい 発見」 — この reading は significance と interpretive depth を **conflate** している。 Anscombe 1973 quartet (4 datasets with identical summary statistics but different shapes) の 現代 echo。
2. Case A — Voynich statistical anomaly (藤本 2026-07-26)
- Methods: Voynich EVA transcription vs matched-Latin control (vocabulary size + text length matched + Fable 5 analysis)
- Findings: (i) anomaly は 綴り 規則性 のみ (「何が書いてあるか」 では ない)、 (ii) 決まり文句 4 語 で 消失 (2-3 語 反復 abundant、 4 語 は 一冊 で 1 回、 5 語 ゼロ)、 (iii) statistical significance: probability < 1 in 100 million
- Honest scope (as reported): 「単語 の 形 が 異様に 規則的、 何が書いてあるか では ない」
- Interpretive depth: Level A (surface / syntactic) のみ、 Level B (semantic) 主張 なし
3. Case B — Paper 179 Weaver Level B Task B (chat-Claude STEP 1848 4-pair)
- Methods: OPUS-Tatoeba 4 語 pair (en-de / en-ru / en-cmn / en-ja) × n=10,000 each × discriminator control (length-matched stratified + shuffled-gold refutation) × D-FUMT₈ Hellinger
- Findings: (i) 4 pair 全 chance 超え (1.66× – 4.04×)、 (ii) shuffled-gold control 通過 (STEP 1848 sibling bug fix 後)、 (iii) length-matched control 通過、 (iv) BUT shared-alphabet en-de 4.04× (orthographic mechanism 未除外)、 en-ru で trivial
|len_diff|上回らず (p=0.128)、 R@10 ≤ 0.0073 operational negligible - Honest scope: 「small statistically-real above-chance retrieval signal、 mechanism (semantic vs orthographic) unresolved」
- Interpretive depth: Level A/B boundary candidate、 orthographic confound で interpretation open
4. Contrastive analysis
| axis | Case A (Voynich) | Case B (Paper 179) |
|---|---|---|
| Statistical significance | overwhelming (p < 10⁻⁸) | small (bootstrap CI excludes chance, 1.66-4.04×) |
| Sample size | 1 book (Voynich) + Latin control | 4 pairs × n=10,000 each |
| Signal type | Level A (surface regularity) | Level A/B candidate boundary |
| Claim made | 「surface regularity only, not content」 | 「small signal, mechanism unresolved」 |
| Interpretive depth | zero | candidate but unresolved |
| Effect magnitude | overwhelming | negligible (R@10 ≤ 0.0073) |
| Confound | none (surface = the finding) | shared orthography (unexcluded) |
Key observation: significance magnitude と interpretive depth は **not aligned**。 A can have p → 0 with zero depth; B can have small p with candidate depth。 どちら も 単一 ranking に は 収まらない。
5. Publication discipline synthesis (6-item checklist)
- Effect magnitude を p-value と 併記 (Sullivan-Feinn 2012 / ASA 2016)
- Interpretive scope 明示 (Level A / B / C の どこ か)
- Unexcluded confound の 列挙 (Case B shared-orthography 開示 が exemplar)
- 「Signal 存在」 と 「Signal 意味 X」 の 分離 (Case A discipline が exemplar)
- Domain-specific finding と general claim の 分離 (両 case とも domain-specific)
- Machine-readable basis declaration (Rei stack comparison-basis contract が 一実装)
6. Prior art (novelty 主張なし)
| Reference | Relevance |
|---|---|
| Anscombe 1973 「Graphs in Statistical Analysis」 | quartet: identical statistics, different distributions |
| Simpson 1951 「Interpretation of Interaction in Contingency Tables」 | aggregate vs per-group direction reversal (comparison-basis G5 直接 anchor) |
| Wasserstein-Lazar 2016 ASA statement on p-values | policy-level codification |
| Sullivan-Feinn 2012 「Using effect size」 | applied medical statistics |
| Cohen 1994 「The earth is round (p < .05)」 | earlier critique of p-value-only reporting |
| Ioannidis 2005 「Why most published research findings are false」 | discovery-vs-replication frame |
| Gelman-Stern 2006 「The difference between 'significant' and 'not significant' is not itself statistically significant」 | comparison-basis G5 direct anchor |
| Weaver 1949 (Paper 162 / 179 anchor) | Level A / B / C decomposition、 exemplified in both cases |
Paper 180 の 唯一 の 貢献 candidate: 「significance ⊥ interpretive depth」 を **2 実 Rei-AIOS case で contrastive に 提示** + comparison-basis contract の checklist として **operational 化**。 discipline 自体 は 既存。
7. Honest scope
- 既存 discipline の 再提示 のみ、 novelty 主張なし
- Case A source は 藤本さん note (2026-07-26)、 詳細実測 の 再現性 は 藤本さん側 依存 (私 は note 引用 のみ)
- Case B source は Paper 179 v0.4、 chat-Claude STEP 1848 multi-pair replication 依存
- 2 case のみ の contrastive は systematic では ない = anecdotal 提示。 systematic domain sweep は Paper 181 candidate (STEP 1851 template-heavy family の 副産物)
- Paper 180 は framing paper = 実験論文 では ない
- v0.1 は CONCEPT skeleton のみ、 full paragraph 化 は 別 STEP
8. Publish gate
- Paper 179 v0.4 publish 判定 が 前提 (Case B anchor)
- 藤本さん note 記事 (Voynich Case A) の 引用可否 確認
- Anscombe / Simpson / ASA statement の 引用 discipline 確認
- 私 単独執筆 では なく 藤本さん explicit go + 通読 が gate
9. 次 step (藤本さん judgment)
- CONCEPT 承認 → Paper 180 draft v0.1 起草 (別 STEP、 §1-§9 の 各節 full paragraph 化)
- Paper 179 との 順序 判断 (Paper 179 publish 先行 か 同時 か)
- Case A 独立実測 の 必要性 (note 引用 vs 再実測)
- STEP 1851 (template-heavy family) と の 関係: Paper 181 (family survey) 統合 か 独立 か
私 の 推奨: Paper 180 は Paper 179 publish 後 に draft 起草、 それまで concept のみ。 Case A の 独立実測 は 別 STEP 判断 (note 引用 のみ で contrastive 論旨 成立)。
10. 詳細参照
- Concept doc:
papers/paper-180-significance-vs-semantic-content-CONCEPT.md - Case A source: 藤本さん note 2026-07-26 ヴォイニッチ手稿 Fable 5 統計解析
- Case B source: Paper 179 v0.4
papers/paper-179-weaver-level-b-provisional-metric-DRAFT.md - 対 arc: STEP 1851 Template-heavy domain family design
- 関連 STEP: STEP 1846 v0.2、 STEP 1848 bug fix、 STEP 1837 cmix corrigendum
- Notepad: 2026-09-07T00-46 STEP 1852
- Fragment: notes/steps/STEP_1852.md
- ← Tools index に 戻る