「超圧縮」の構想から出発して、鳩の巣原理に殴られ、会計を作り直し、 実際に動く可逆圧縮器を書き、2ラウンドの候補を実測で落とすまで。 下のパネルはすべて操作できます。数値は実測値です。
あらゆる入力を必ず縮める万能圧縮器は存在しません。k ビット縮めるには、 入力の 2⁻ᵏ しか収容先がないからです。スライダーを動かすと、 入力が実際に潰れていきます。
「生成規則だけ送る」構想の穴はここでした。エンジンを共有した時点で、 その大きさは記述長に計上されます。1ファイルあたりの主張は、 償却するファイル数を書かない限り成立しません。
実装した符号器そのものです。32 ビットの状態レジスタ x に シンボルを押し込み、溢れる直前に 16 ビットずつ吐き出す。 確率を上げるほど消費ビットが減り、理論値 −log₂(f/T) に貼り付きます。
予測器だけを差し替え、符号器・演算・メモリ量・適応レートは固定。 比較の基準を切り替えてください。sse_hash は 「同じ文脈の無意味なハッシュ」＝帰無モデルで、これに勝てない候補は 意味論ではなくパラメータ数を測っています。
状態数を増やせば解像度は上がりますが、状態あたりのサンプルが減って適応が遅れます。 どこかに最適値があるはずで、それはデータ量とともに移動します。 下の曲線はモデルです。丸印だけが実測値です。
bpb は小さいほど良い。すべて往復 SHA-256 一致を確認済み。