STEP 1656 · 2026-09-02 · rei-aios

enwik8 圧縮 baseline
A. すぐ着手できる #3 — 既存 手法の 基準線

掛谷 arc の 「A/B/C 3 分類」 で 藤本さんの 「推奨順序 3→1→2」 に 沿った 第 1 段。 enwik8 (100 MB Wikipedia XML) を gzip / bzip2 / xz / zstd で 8 通り 圧縮 + 復号 + SHA256 一致 verify し、 以降 の 手法 (NCD clustering、 D-FUMT 規則 based 圧縮、 LZ4 on FPGA) が 相対的に どこに 立つか を 決める 参照線 を 確立。

Dataset
enwik8 (100,000,000 bytes、 Wikipedia XML dump 冒頭)
SHA256
2b49720ec4d78c3c9fabaee6e4179a5e997302b3a70029f30f2d582218c024a8
Source
https://mattmahoney.net/dc/enwik8.zip
Machine
Windows 11 Pro / Intel Core i7-6700 (8 cores) / 64 GB RAM
Tools
gzip 1.14 / bzip2 1.0.8 / zstd 1.5.7 / xz 5.8.2

結果 — 圧縮サイズ 昇順

圧縮器 サイズ (bytes) 比率 bpc 圧縮 時間 圧縮 MB/s 復号 時間 復号 MB/s roundtrip
xz -9e24,831,6560.24831.9865105.33s0.91.25s76.2✓
zstd -22 --long25,272,4680.25272.0218114.21s0.80.32s299.4✓
xz -626,665,1560.26672.133223.05s4.10.51s187.8✓
zstd -1926,944,2230.26942.155566.88s1.40.56s170.9✓
bzip2 -929,008,7580.29012.320711.38s8.47.28s13.1✓
zstd -335,445,3310.35452.83560.76s125.20.30s318.1✓
gzip -936,445,2410.36452.91566.64s14.40.80s119.1✓
gzip -6 (default)36,518,3220.36522.92155.32s17.90.80s119.9✓

bpc 帯 (縦棒 = bpc、 短いほど良い)

0.5 1.0 1.5 2.0 2.5 3.0 3.5 bpc (bits per character, 短いほど良い) xz -9e 1.987 zstd -22 --long 2.022 xz -6 2.133 zstd -19 2.156 bzip2 -9 2.321 zstd -3 2.836 gzip -9 2.916 gzip -6 2.921 cmix (文献値) ~0.15 (未計測)

速度 vs 圧縮率 trade-off

1 3 10 30 100 圧縮 速度 MB/s (対数) 2.0 2.3 2.6 2.9 bpc (短いほど良い) xz -9e zstd -22 --long xz -6 zstd -19 bzip2 -9 zstd -3 gzip -9 gzip -6 左下 が 遅くて 高圧縮、 右上 が 速くて 低圧縮 (Pareto frontier)
要点 3 件:

掛谷 arc 内 の 位置

藤本さんの A/B/C 3 分類 (前 turn 提示) に 沿った 現在 の 進行状況:

#実験状態次 判断軸
A-3enwik8 baseline (本 STEP)✓ 完了他 手法 の 参照線
A-1NCD clustering + 差分保存次 候補本 baseline 表 の 「集合圧縮」 列 が 単体 xz -9e より 上回るか
A-24 次元 有限体 掛谷集合 探索 (𝔽_q^4)並行 独立既知 上界 q^4/8 を 下回れば 単独結果
B-4Tang Nano 9K LZ4 encoder1-2 の 結果 後throughput vs 実効圧縮率
B-5CM/NN 予測器 並列化 (cmix bottleneck)長期「超圧縮 chip」 の 唯一 の 出口
C-6記述長 最小化 (Stitch/DreamCoder + D-FUMT)1-2 の 結果 後混雑分野、 差別化説明 必須
C-7Rei-PL / file→回路 接続1-2 の 結果 後圧縮率 でなく 表現選択 として 評価

Honest scope

未計測:
本 baseline から 主張しないこと:

再現

cd C:/Users/user/rei-aios
curl -sL -o data/compression-benchmark/enwik8.zip https://mattmahoney.net/dc/enwik8.zip
unzip -o data/compression-benchmark/enwik8.zip -d data/compression-benchmark/
python /tmp/bench_enwik8.py  # (or scripts/compression-benchmark/run-benchmark.py)
cat data/compression-benchmark/results-enwik8.md

成果物

STEP 1656 · commit: (see git log) · Rei-AIOS · https://rei-aios.pages.dev/tools/step-1656-compression-baseline-enwik8/