Template-heavy domain family compression arc — v0.3 signature 統計 有意 (p=0.020) → schema-aware 40.4% → brotli 超え 34.08% (zstd trained dict)
2026-09-07 の 12 STEP 集中 arc 総括ページ (chat-Claude session 中の 藤本さん directive 連続 で 実施)。 Voynich 手稿 の 「word bigram uniqueness 高 + template ratio 中」 signature を 出発点 に、 template-heavy domain family の predictive validity を **統計 (p=0.020) + mechanism 分解 + positive n=3 evidence + brotli 化け物性 定量 分解 + amortized 超え** の 5 層 で 完全 characterize。 各 STEP 全 独立 site 反映済 (12/12)、 test 全 PASS、 lossless round-trip 全 verified、 novelty 主張 なし discipline 維持。
1. Arc 全体 map (12 STEP)
| STEP | タイトル | 主要 finding |
|---|---|---|
| 1851 | Template-heavy domain family 設計 v0.1 | Voynich signature を characterization 軸 に、 12 candidate domain + 5 特性軸 + 4 phase 計画 |
| 1854 | Phase 1a characterization | 5 軸 + 8 synthetic domain、 v0.1 signature 0/8 (honest = 意味論 誤転写) |
| 1856 | Phase 1b word-level axis + external fetch | Bw + Dw word-level axis + v0.2 signature、 6/13 match (但し 藤本さん CSV review で 5 数学的欠陥 発見) |
| 1858 | Voynich EVA exploratory characterization | Takahashi transcription 5119 line で D-FUMT₈ Hellinger 10 lang 予想外 finding (非 Latin cluster)、 NOT a decoding claim |
| 1860 | STEP 1856 corrigendum | 藤本さん CSV review 5 数学的欠陥 全 認諾、 wordCount < 1000 → N/A、 Dw ≈ 0.10 metric 床、 3 主張 retract |
| 1861 | Phase 1c Voynich anchor + permutation | Real Voynich EVA anchor で threshold 較正、 permutation で v0.2 chance 下振れ p=1.00 → v0.2 完全 崩壊 実測 |
| 1862 | v0.3 threshold 再定義 | Bw ∈ [2,3] + Dw ∈ [0.15,0.75]、 方向反転 +3.54σ、 p=0.125 (n=14 有意 未達、 「trend evidence」) |
| 1863 ★★★ | v0.4 anchor 拡張 で 統計 有意 達成 | Voynich 4 sub-corpora 分割 = n=5 anchor、 18 domain permutation p=0.0198、 z=+2.40、 REJECT null at α=0.05 |
| 1867 ★★★★ | Phase 2 prototype schema-aware for structured_log | Fixed-width binary field encoding: gzip 比 +40.4% 削減 (1.079 bpc)、 lossless、 13/13 test PASS |
| 1868 | v0.4 送り 7 implication reversal test | Generic word-dict は 全 7 domain で gzip に 負ける = STEP 1867 の 40.4% win は domain-specific schema 由来 (scope refine) |
| 1869 | Phase 2 Voynich prototype (NOT decoding) | Generic word-dict on Voynich = -36% vs gzip、 Voynich Bw=2 は 圧縮 gain を imply しない = 「signature valid ≠ structure discovered」 明示分離、 100 年 open problem discipline 維持 |
| 1870 | Dedicated schema 一般化 test (decisive negative) | Preload-dict は 全 domain amortized +0.2-1.8% only、 STEP 1867 の 40.4% win は 「fixed-width binary field encoding」 由来、 dictionary preloading では 再現 不能。 Refined claim: v0.3 YES + ASCII-numeric field 両方 必要 = necessary but not sufficient |
| 1871 ★★★ | Refined claim positive re-confirmation | access_log +43.20% vs gzip、 csv_metrics +30.56% vs gzip、 n=1 → n=3 positive support 昇格、 arc 「refined + n=3 in-scope positive + n=4 out-of-scope negative + 7/7 consistent」 完成 |
| 1876 ★★★★★ | brotli 超え 達成 | zstd -22 + per-domain trained dict で 3/3 全 amortized で brotli-q11 を beat: access_log +34.08%、 structured_log +15.80%、 csv_metrics +15.33%。 化け物性 = RFC 7932 122 KB web-generic dict amortized、 対抗 = domain-specific dict amortized の 定量 evidence |
2. Predictive validity 完全 characterization (7/7 consistent)
| domain | v0.3 | ASCII-numeric | vs gzip | vs brotli (STEP 1876) | claim consistency |
|---|---|---|---|---|---|
| structured_log | YES | YES | +40.4% (dedicated) | +15.8% (zstd dict) | ✓ positive |
| access_log_apache | YES | YES | +43.2% (dedicated) | +34.1% (zstd dict) | ✓ positive |
| csv_metrics | YES | YES | +30.6% (dedicated) | +15.3% (zstd dict) | ✓ positive |
| markdown_proxy | YES | no | +1.8% (preload) | — | ✓ negative |
| esperanto_wikipedia | YES | no | +0.3% (preload) | — | ✓ negative |
| voynich_eva | YES | no (unknown) | +0.2% (preload) | — | ✓ negative |
| dna_ncbi | no | no | +3.9% (preload) | — | ✓ negative |
Predictive validity accuracy: 7/7 consistent。 arc として 「refined + n=3 in-scope positive + n=4 out-of-scope negative」 完全 characterization。
3. Refined predictive validity claim (最終形)
Statement: v0.3 signature が 40%+ 圧縮 improvement を 予測 する には (a) v0.3 YES + (b) explicit ASCII-encoded structured fields (timestamps / IPs / IDs / numeric measurements / status codes) の 両方 必要 = necessary but not sufficient。
Statistical foundation: STEP 1863 p=0.020 permutation test (Voynich sub-corpora anchor n=5、 18 domain)。
Mechanism: fixed-width binary field encoding (ASCII→binary 再encoding of timestamps/IDs/latencies) が gzip を 大幅 上回る 主要 mechanism (STEP 1867 + 1871 evidence)。 Dictionary preloading では 再現 不能 (STEP 1870)。
brotli 超え: RFC 7932 の 122 KB web-generic dict amortized discipline を per-domain trained dict で 対称化 = 3/3 amortized 超え (STEP 1876)。
4. Honest scope (arc-wide)
- NOT a decoding claim: Voynich prototype (STEP 1869) は 100 年 open problem の (a) cipher / (b) constructed / (c) hoax / (d) restricted-vocab / (e) transcription error 5 cover stories 全 open 維持
- In-sample training: zstd trained dict (STEP 1876) は 同 corpus で train + eval、 過学習 リスク あり、 out-of-sample validation は v0.4 送り 12 別 STEP
- Synthetic corpora: access_log_apache + csv_metrics は deterministic PRNG (LCG seed 20260907)、 real-world 数字 変わる 可能性
- Novelty 主張 なし: schema-aware compression は Avro/Protobuf 系 古典 approach、 zstd trained dict は 標準機能 (2017-08 以降)、 preset dictionary DEFLATE は RFC 1950 1996 以降。 本 arc 貢献 = 「Voynich signature を characterization 軸 に した 系統的 探索 + refined predictive validity claim の 4 evidence layer 完成」
- Refuted 4 claim (arc 中 で 明示 撤回): 「v0.3 YES → 40%+ 圧縮 general」 / 「STEP 1867 pattern is v0.3 YES universal」 / 「Dictionary preloading = schema-aware compression 代用」 / 「Voynich Bw=2 は 圧縮 gain を imply」
- Voynich anchor は Takahashi chunk 分割 のみ (Currier/Landini/D'Imperio section 別 transcription は v0.4b 送り)
5. STEP 1848 pattern 12 段階 完成 arc
| STEP | イベント |
|---|---|
| 1848 | Cowork side data-found bug |
| 1849 | sibling bug 独立発見 |
| 1860 | 藤本さん CSV review 5 数学的欠陥 発見 |
| 1861 | permutation 定量 決着 (v0.2 完全 崩壊) |
| 1862 | threshold 再定義 (方向反転 +3.54σ、 p=0.125 未達) |
| 1863 | anchor 拡張 (n=5) で p=0.020 統計的 validated |
| 1867 | schema-aware で structured_log 40.4% win (n=1 positive) |
| 1868 | generic word-dict 反証 (scope refine) |
| 1869 | Voynich prototype negative (NOT decoding) |
| 1870 | 内部 mechanism 分解 = fixed-width binary field encoding 決定的 |
| 1871 | refined claim positive re-confirmation n=1 → n=3 |
| 1876 | brotli 化け物性 分解 + zstd trained dict で 3/3 amortized 超え |
Discipline pattern 完成: 「勝ち evidence → scope refine → mechanism 分解 → refined claim の positive re-confirmation → 化け物性 分解 + amortized 超え」 の 12 段階 arc。 各段階 で 独立 test / independent review / mechanism analysis を 挟み、 過剰主張 予防 discipline を 実際 の evidence で 実装。
6. Failure mode dataset (arc-wide accumulation)
本 arc で dataset に 追加 された failure mode: (a) implication evidence scope 過剰一般化 / (b) vocab dictionary overhead 見積り 誤り / (c) synthetic 過度圧縮 outlier handling / (d) 「signature valid → structure discovered」 一段跳び / (e) 「schema-aware = dictionary preloading」 一段跳び 誤認 / (f) 一般化 claim 事前 scope 制限 discipline (mechanism 分解 前 に predictive validity claim 立てない)。 checklist は 各 STEP notepad に 詳細。
7. v0.4 送り 進捗 (13 items のうち 5 完了)
- (1) positive class 拡張 ✅ STEP 1863
- (7) implication reversal ✅ STEP 1868
- (9) dedicated schema 一般化 test ✅ STEP 1870 (negative decisive)
- (11) refined claim positive re-confirmation ✅ STEP 1871 (n=1 → n=3)
- (13) brotli 超え zstd trained dict ✅ STEP 1876
- 残: (2) held-out CV / (3) continuous score / (4) 30+ domain / (5) cmix binary / (6) english_baseline 差替 / (8) Huffman word-dict v0.2 / (10) Voynich section-conditional Huffman / (12) out-of-sample dict validation
8. Reproducibility
全 artifact repo 収録 = reproducibility 完全:
- Sample corpora:
data/domain-family/samples-combined/(14 base + 4 Voynich sub-corpora + access_log + csv_metrics) - Sub-corpus v0.6:
data/domain-family/samples-combined-v0.6/(18 files、 STEP 1863 anchor set) - Trained dicts:
data/domain-family/domain-dicts/(3 dict、 69-131 KB each、 STEP 1876) - Scripts:
scripts/domain-family/(12 script for characterize / permutation / compressors) - Results:
data/domain-family/results/(CSV + JSON reports、 permutation histograms) - Tests:
test/step186{3,7,8,9}-*.ts+test/step187{0,1,6}-*.ts= 累計 ~90 test assertion、 全 PASS - Notepads: docs/notepad/ の 2026-09-07T*_STEP-186{1..3,7..9}_*.md + STEP-187{0,1,6}_*.md
9. 詳細参照
- 全 STEP は 上記 表 の 各 link から
- ← Tools index に 戻る
- ← Rei-AIOS top page に 戻る