# STEP 1868 — v0.4 送り 7 implication reversal test — Generic word-dict compressor は 全 domain で gzip に 負ける = STEP 1867's 40.4% win は domain-specific schema 由来 (honest negative finding、 predictive validity 精緻化)

**Timestamp**: 2026-09-07T04:15 (JST)
**Tab worktree**: main (rei-aios-97 [de6edb])
**Commit**: <commit 後に追記>
**Refs-STEP**: 1867, 1863, 1862, 1861, 1860, 1856, 1854, 1851, 1848

## 一行 summary

STEP 1867 の predictive validity claim を 「generic word-tokenization」 レベル で 反証 test = **generic word-dict compressor は 7 domain 全 で gzip に 負ける (v0.3 YES / no を 問わず)**。 但し **v0.3 no 予測 (「improvement < 5% or 負」) は 3/3 met** (dna -0.95%、 protein -0.45%、 english -543% synthetic outlier)、 **v0.3 YES 予測 (「improvement > 20%」) は 0/4 met** (esperanto -38%、 markdown -30%、 log -33%、 voynich -36%)。 refined claim: **v0.3 signature の predictive validity は schema-aware compressor level で 成立 (STEP 1867 evidence)、 generic word-tokenization level では 不成立 (本 STEP evidence)**。 STEP 1867 の 40.4% win は **domain-specific schema (10 msg template + 6 module + 4 level + binary field encoding)** から 来る、 word-tokenization 単独 では 再現 不能。

## 予測 vs 実測 (7 domain 累積)

| domain | v0.3 | 原文 | gzip -9 | brotli -11 | word-dict | vs gzip | 予測 一致? |
|---|---|---|---|---|---|---|---|
| english_baseline | no | 37,699 | **1,210** | 641 | 7,779 | -543% | ✓ (synthetic 過度圧縮 outlier) |
| dna_ncbi | no | 22,741 | 6,864 | 6,055 | 6,929 | **-0.95%** | ✓ (gzip parity) |
| protein_uniprot | no | 14,228 | 7,818 | 7,533 | 7,853 | **-0.45%** | ✓ (gzip parity) |
| esperanto_wikipedia | YES | 314,844 | 115,712 | 99,174 | 160,037 | -38% | ✗ (予測 >20% 改善) |
| markdown_proxy | YES | 68,955 | 25,272 | 20,800 | 32,784 | -30% | ✗ |
| structured_log | YES | 698,392 | 158,005 | 135,493 | 210,352 | -33% | ✗ (**STEP 1867 は 40.4% 改善 だった、 generic word-dict は それ を 再現できない**) |
| voynich_eva | YES | 246,431 | 76,888 | 71,842 | 104,606 | -36% | ✗ (STEP 1869 で 別 分析) |

**Prediction summary**: v0.3 no 3/3 met (word-dict は gzip を 上回れない) / v0.3 YES 0/4 met (word-dict は gzip を 上回れない、 だが STEP 1867 dedicated schema 版 は 40.4% 上回った)

## Predictive validity の 精緻化 (STEP 1867 + STEP 1868 合成)

### 前提 (STEP 1867 で 確認済)
- structured_log の dedicated schema-aware compressor は gzip を 40.4% 上回る (lossless, 13/13 test PASS)

### 新 findings (本 STEP)
- Generic word-tokenization dictionary compressor は 7 domain 全 で gzip に 負ける
- 特に structured_log で さえ negative (-33%) = **word-tokenization 単独 では STEP 1867 の 圧縮 gain を 再現 不能**

### Refined predictive validity claim
- v0.3 signature (Bw + Dw metrics on word n-grams) は **schema-extractability の 統計的 proxy**
- しかし exploitation は **domain-specific engineering** (どの field が fixed structure か vs unique per-line か の 明示) が 必要
- Generic word-tokenization は proxy を capture するが exploit しない (vocab 全体 が overhead に なる)

### Refuted claim (STEP 1867 hook で 私 が implied していた 過剰主張)
- 「v0.3 YES = generic word-dict で gzip beat 可能」 = **反証**
- 「Voynich's Bw=2 は 汎用 圧縮 gain を imply する」 = **反証** (STEP 1869 別 分析)

## Honest scope

- **Naive word-dict** (fixed-bit index + gzipped vocab) 実装、 Huffman/arithmetic coding は 未実装、 v0.2 で これ 追加 なら 一部 domain (Voynich?) で gzip 匹敵 or 一部 越え 可能
- **english_baseline は synthetic outlier** (5 paragraph × 20 repeat、 STEP 1854 dataset entry (b) 参照)、 gzip の LZ77 が 極端 に 有利、 -543% は corpus artifact
- Baseline は Node 内蔵 gzip + brotli、 zstd は 環境依存
- Round-trip lossless 保証 = byte identity
- 「Generic word-dict fails on all domains」 の 一般化 は 7 domain sample、 別 corpus (JSON schema、 XML、 CSV 等) で 検証 は 別 STEP
- novelty 主張 なし = negative finding、 「vocab dictionary compressor は entropy coding なしでは 汎用 LZ77+Huffman を beat できない」 は Ziv-Lempel 1977 以来 well-known

## STEP 1867 predictive validity は 依然 valid だが scope が 狭まる

- **valid claim (残る)**: v0.3 YES domain には dedicated schema-aware compressor で gzip 40%+ 上回る **可能性** がある
- **valid claim (残る)**: structured_log は 実際 に 40.4% gain (STEP 1867 実測)
- **removed claim**: v0.3 YES = 「generic word-dict で beat」 → 反証、 domain 別 engineering が 必要
- **valid claim (残る)**: STEP 1863 statistical significance (p=0.020) と 独立 evidence layer は STEP 1867 で 獲得済

## STEP 1848 pattern 8 段階目 candidate

1848 → 1849 → 1860 → 1861 → 1862 → 1863 → 1867 → **1868 (predictive validity claim の scope 反証 + refined)**

前 STEP の 主張 を 独立 test で refine する discipline pattern = STEP 1867 「implication 実測 evidence」 claim (「schema-aware で gzip 40.4% smaller = signature の predictive validity 一致」) を 一部 反証 (「generic word-dict では 再現 不能」)、 valid scope を 精緻化 (「dedicated schema level のみ」)。

## v0.4 送り 8 追加 (本 STEP 誘発)

- **8. Huffman/arithmetic coding 拡張** (generic word-dict v0.2 で 一部 v0.3 YES domain gzip 匹敵 or 越え 可能 か 検証)
- **9. Dedicated schema-aware compressor を other v0.3 YES domain (markdown/esperanto/voynich) へ 拡張** (STEP 1867 pattern を Voynich 以外 に 適用、 40%+ gain 再現 可能か)

## Failure mode dataset 追加 3 entry

- **(a) 「implication evidence」 の scope 過剰一般化** = STEP 1867 で structured_log 40.4% gain → 「v0.3 YES general に generic word-dict で beat 可能」 と implicit 主張。 予防: dedicated compressor と generic compressor の gap を 明示、 「schema-aware」 の specificity を 主張 に 埋め込む。 Recovery: STEP 1868 で reversal test 独立 実施 で 発見 + scope refinement。
- **(b) Vocab dictionary overhead の 見積り 誤り** = 「vocab を gzip で 圧縮 すれば 十分」 は 一部 true (dna/protein で gzip parity 到達) だが v0.3 YES domain では 依然 30-40% overhead。 予防: encode 前 に 理論的 lower bound 計算 (`|body_bits| + |gzipped_vocab_bytes|`) → gzip 比較 で 事前 見積り、 実装 前 に infeasibility 察知。
- **(c) 「synthetic 過度圧縮 outlier」 handling** = english_baseline -543% は 実 English では ない (5 paragraph × 20 repeat)、 平均 に 引き込まれ ない ように 個別 flag 明示 必要。 予防: sample corpus の synthetic vs real split を CSV column で 常時 表示、 平均計算 前 に filter (STEP 1856 corrigendum の 藤本さん指摘 § 3 継承)。

## 詳細参照

- 実装: `scripts/domain-family/word-dict-compressor.ts` (~330 行、 STEP 1868 + 1869 兼用)
- Test: `test/step1868-word-dict-compressor-test.ts` (24/24 PASS)
- Report: `data/domain-family/results/word-dict-compression-reversal-report.json`
- 関連: [STEP 1867](../step-1867-phase2-template-dict-compressor/) (schema-aware structured_log 40.4%) / [STEP 1863](../step-1863-voynich-subcorpora-significance/) (p=0.020 統計 test)