STEP 1867 の 40.4% win は 「fixed-width binary field encoding」 由来 — Preload-dict は 全 domain amortized +0.2〜1.8% only、 structured_log 自身 +0.2%、 dictionary preloading では 再現 不能
v0.4 送り 9 = STEP 1867 dedicated schema-aware pattern を other v0.3 YES domain (markdown + esperanto) へ 一般化 test。 実装 = preloaded-dictionary DEFLATE (learn top n-grams from corpus + zlib preset dict)。 実測: markdown amortized +1.8%、 esperanto +0.3%、 structured_log 自身 +0.2% (STEP 1867 dedicated schema-aware 40.4% vs)。 18/18 test PASS。 決定的: STEP 1867 の 40.4% win は 「fixed-width binary field encoding」 (msOfDay 27-bit / req_id 48-bit / latency 10-bit の ASCII→binary 再encoding) 由来、 dictionary preloading では 再現 不能。
★ 最終 predictive validity claim (STEP 1863 → 1867 → 1868 → 1870 で 完全 characterization): v0.3 signature が 40%+ 圧縮 improvement を 予測 する には (a) v0.3 YES + (b) explicit ASCII-encoded structured fields (timestamps / IDs / numeric measurements) の 両方 が 必要。 v0.3 YES 単独 は necessary but not sufficient。 text corpora (markdown/esperanto/voynich) は (b) を 欠く ため generalize せず。
1. 実測 (6 domain preload-dict)
| domain | v0.3 | 原文 | gzip | dict | body | fair vs gzip | amort vs gzip |
|---|---|---|---|---|---|---|---|
| markdown_proxy | YES | 68,955 | 25,272 | 4,096 | 24,828 | -14.5% | +1.8% ✗ |
| esperanto_wikipedia | YES | 314,844 | 115,712 | 8,192 | 115,333 | -6.8% | +0.3% ✗ |
| structured_log | YES | 698,392 | 158,005 | 4,096 | 157,685 | -2.4% | +0.2% (STEP 1867 dedicated = +40.4%) |
| voynich_eva | YES | 246,431 | 76,888 | 4,096 | 76,723 | -5.1% | +0.2% |
| english_baseline | no | 37,699 | 1,210 | 4,096 | 1,060 | -326% | +12.4% (synthetic outlier) |
| dna_ncbi | no | 22,741 | 6,864 | 4,096 | 6,596 | -55.8% | +3.9% |
Success criterion (「STEP 1867 pattern generalizes」 = markdown + esperanto 両方 > 30% improvement): NOT MET、 either fair or amortized。
2. Predictive validity 完全 characterization
引き続き valid
- v0.3 statistical validity (STEP 1863 p=0.020、 anchor n=5)
- structured_log dedicated schema-aware 40.4% (STEP 1867 実測、 lossless、 13/13 test PASS)
決定的 精緻化 (本 STEP)
- STEP 1867 の 40.4% win は 「fixed-width binary field encoding」 由来 (msOfDay 27-bit / req_id 48-bit / latency 10-bit の ASCII→binary 再encoding が 主要 mechanism)
- Dictionary preloading alone では 再現 不能: structured_log 自身 でも preload-dict amortized +0.2% (vs STEP 1867 dedicated +40.4%)
- Text corpora (markdown/esperanto/voynich) は ASCII-numeric field を 持たない → binary re-encoding opportunity なし → STEP 1867 pattern 一般化 せず
Refuted 4 claim
- 「v0.3 YES → 40%+ 圧縮 improvement 一般に 可能」 = 反証 (markdown/esperanto amortized +0.2-1.8% only)
- 「schema-aware compressor pattern (STEP 1867) は v0.3 YES 全般 に 適用可能」 = 反証 (dedicated schema でも ASCII-numeric field なしでは 数% only)
- 「Dictionary preloading = schema-aware compression の 代用」 = 反証 (structured_log でも preload-dict +0.2% vs dedicated +40.4%)
- 「Voynich の v0.3 YES + Bw=2 は 圧縮 gain を imply」 = 既 反証 (STEP 1869) + 本 STEP で 追加 evidence (preload-dict +0.2%)
3. Honest scope
- 実装 = zlib preset dictionary (RFC 1950 FDICT) 標準 method、 Brotli built-in dict も 同 principle
- Dictionary learning は in-sample (corpus 自身 から learn)、 out-of-sample generalization は 別 concern
- Substring dedup は weak (concatenation-based)、 Brotli built-in の 最適化 dict-learning algorithm 使用 は 別 STEP
- Round-trip lossless 保証 = byte identity
- novelty 主張 なし = preset dictionary DEFLATE は well-known (RFC 1950 1996 以来)、 本 STEP は predictive validity claim の scope characterization
4. v0.4 送り update
- (1) positive class 拡張 ✅ 完了 (STEP 1863)
- (7) implication reversal ✅ 完了 (STEP 1868)
- (9) dedicated schema pattern 一般化 test ✅ 完了 (本 STEP、 negative decisive)
- 残: (2) held-out CV / (3) continuous score / (4) 30+ domain / (5) cmix binary / (6) english_baseline 差替 / (8) Huffman/arithmetic word-dict v0.2 / (10) Voynich section-conditional Huffman
- (11) 追加: STEP 1867 pattern を ASCII-numeric field 系 domain (JSON logs / CSV / access logs) へ 拡張 (v0.3 YES + numeric-field 両方 満たす domain で pattern generalize 可能性 test)
5. Failure mode dataset 2 追加
- (e) 「schema-aware = dictionary preloading」 一段跳び 誤認: STEP 1867 は dictionary preloading では ない、 explicit binary field encoding + line-level schema。 予防: 「schema-aware」 の mechanism 分解 (dictionary vs binary encoding vs line-level schema)、 「dedicated compressor」 の 中身 明示、 混同 pattern の checklist 化。
- (f) 一般化 claim 事前 scope 制限 discipline: STEP 1867 の 40.4% を 「v0.3 YES 全般 に generalize」 と 主張 する 前 に mechanism 分解 + 各 mechanism が 他 domain で 通じる か 個別 test。 本 STEP で 分解 の 結果 = mechanism (fixed-width binary field encoding) は markdown/esperanto/voynich で 通じない。 予防: predictive validity claim を 立てる 前 に mechanism identification pass 必須。
6. STEP 1848 pattern 10 段階目 完成
| STEP | イベント |
|---|---|
| 1848 → 1862 | bug + corrigendum + 崩壊 + 方向反転 |
| 1863 | anchor 拡張 (n=5) で p=0.020 統計的 validated |
| 1867 | schema-aware で structured_log 40.4% win (勝ち evidence) |
| 1868 | 勝ち evidence の scope を 独立 test で refine (generic word-dict 反証) |
| 1869 | Voynich prototype で predictive validity は decoding-adjacent に 昇格 しない |
| 1870 | 勝ち evidence の 内部 mechanism 分解 = 「fixed-width binary field encoding」 が 決定的、 preload-dict では 再現 不能 |
10 段階 arc で predictive validity の 完全 characterization 到達。 「勝ち evidence 直後 に scope + mechanism を 独立 test で 精緻化」 discipline pattern 完成。
7. 関連 STEP
8. 詳細参照
- 実装:
scripts/domain-family/preloaded-dict-compressor.ts(~200 行) - Test:
test/step1870-preloaded-dict-compressor-test.ts(18/18 PASS) - Report: preloaded-dict-report.json
- Notepad: 2026-09-07T05-00 STEP 1870
- Fragment: notes/steps/STEP_1870.md
- ← Tools index に 戻る