Weaver Level B semantic metric full arc — D-FUMT₈ text projection formalization + 1016 pair statistical test + metric axiom verify + 3 predictive tasks
藤本さん 2026-09-06 「1〜4 順次実行」 directive の 直接応答。 無限次元ドット理論 site §3 「Weaver Level B に standard な operational metric を与える = 75 年 open (Carnap-Bar-Hillel 1952 以来)」 の 引用 + site 内 「ZCSG/D-FUMT₈ が Level B metric に なり得るかは open hypothesis」 の 明示に 対して、 formal projection + 1016 pair 統計 test + 4 axiom empirical verify + 3 predictive task の 4 step で positive な弱 evidence を 追加。 断定はせず、 site framework §3 の 3 層 framing 遵守。
★ 画期的判定 (site framework §3 準拠 3 層 framing、 先出し) ★
- Layer 1 「Shannon 限界突破」 = 型エラー領域、 attempt せず (site §1 「H(X) は bit、意味には commensurable scalar 尺度が (まだ) 無い」 直接遵守)
- Layer 2 「Weaver Level B 完全 operational metric 確立」 = 75 年 open (Carnap-Bar-Hillel 1952)、 1 session で不可能
- Layer 3 「provisional D-FUMT₈ text projection が Level B metric candidate として promising signal を 4 axiom + 3 task で 呈した」 = 実 evidence 出た、 断定はしない、 site の open hypothesis に positive な弱 evidence 追加
Step 1: Formal D-FUMT₈ text projection v2
v1 (2026-09-06 初 spike) の provisional projection を rigorous に 再設計。 src/aios/weaver-level-b/ 下 6 module。
| module | 役割 | 核心 feature |
|---|---|---|
types.ts | 型定義 | Axis / AxisVector / ProjectionResult / DistanceFn / MetricAxioms / Script |
unicode-classifier.ts | Unicode 分類 | 18 script (\p{Script=X} + emoji range table)、 isSemanticBearing flag |
contradiction-detector.ts | 否定検出 | 8 言語 (英/日/中/独/仏/西/symbolic) の 33 negation pattern + Naka-Rushton saturation |
projection.ts | 8 axis projection | Shannon-entropy INFINITY + word/bigram autocorr SELF + formal normalization invariant |
distance.ts | 距離関数 | Hellinger + JSD + L1 + L2 (全て proper metric on 8-simplex) |
index.ts | public API | export surface |
8 軸 formal 意味定義
| Axis | Formal 意味 | Fire 条件 |
|---|---|---|
| TRUE | 安定支配 | dominant script > 40% of semantic chars + dominant char > 20% of same |
| FALSE | 不在 signal | empty, whitespace-only, single-char, no semantic-bearing content |
| BOTH | 矛盾 | grammar-aware negation marker present (33 pattern, 8 言語) |
| NEITHER | 非言語 domain | no semantic-bearing chars, all symbol/digit/punctuation |
| INFINITY | 希少 token 集中 | Shannon entropy < 0.6 × uniform H, or top-1 > 5× mean |
| ZERO | 完全沈黙 | empty, all whitespace or all control |
| FLOWING | 前後 shift | Jaccard(first half chars, last half chars) > 0.3 |
| SELF | 自己反復 | word-level or char-bigram autocorrelation |
✓ Step 1 test 結果: 107/107 PASS
test/weaver-level-b/projection-basic-test.ts — normalization / axis firing / degeneracy / d(x,x)=0 / symmetry / tokenizer / contradiction / classifier
Step 2: 1016-pair large-scale statistical test
src/aios/weaver-level-b/corpus-builder.ts で programmatic corpus 生成、 scripts/experiments/run-weaver-b-full.ts で 全 pair 実行 (152.8s)。
Corpus 内訳 (1016 pair total)
| label | count | category |
|---|---|---|
| same | 918 | bilingual-word 700 + number-encoding 100 + synonym 64 + arithmetic 24 + chem 30 |
| contradict | 25 | negation-en 10 + negation-ja 10 + negation-symbolic 5 |
| unrelated | 65 | cross-topic 50 + enwik8-cross-topic 15 |
| identical | 8 | byte-identical (control for d(x,x)=0 verify) |
Per-label 距離平均 (± stddev)
| label | NCD | Hellinger | JSD | L1 | L2 |
|---|---|---|---|---|---|
| same | 0.379 ± 0.092 | 0.290 ± 0.290 | 0.297 ± 0.293 | 0.254 ± 0.262 | 0.344 ± 0.342 |
| contradict | 0.427 ± 0.078 | 0.425 ± 0.194 | 0.439 ± 0.204 | 0.366 ± 0.233 | 0.435 ± 0.275 |
| unrelated | 0.722 ± 0.097 | 0.282 ± 0.227 | 0.295 ± 0.230 | 0.248 ± 0.208 | 0.319 ± 0.259 |
| identical | 0.279 ± 0.078 | 0.000 ± 0.000 | 0.000 ± 0.000 | 0.000 ± 0.000 | 0.000 ± 0.000 |
★ Finding 1: NCD ⊥ D-FUMT₈ (実質独立軸)
r(NCD, hellinger) = -0.074,
r(NCD, jsd) = -0.065,
r(NCD, l1) = -0.053,
r(NCD, l2) = -0.080
— 全 metric で |r| < 0.1 = 系統的に独立
Discrimination ratios (larger = better separation)
| metric | contradict/same | unrelated/same | 強み |
|---|---|---|---|
| NCD | 1.127 | 1.906 | cross-topic 検出 強 |
| Hellinger | 1.466 | 0.971 | contradiction 検出 中 |
| JSD | 1.477 | 0.992 | Hellinger と同傾向 |
| L1 | 1.441 | 0.978 | Hellinger と同傾向 |
| L2 | 1.265 | 0.927 | Hellinger と同傾向 |
★ 相補的強み パターン: NCD は byte-level cross-topic 得意 だが 「not」 が 1 語 加わった contradict は 弱、 D-FUMT₈ は BOTH axis で contradiction 検出 得意 だが 均一分布 の unrelated は 弱。
Step 3: Metric axiom empirical verify
test/weaver-level-b/metric-axiom-verify.ts で 4 axiom × 4 metric verify。
| axiom | meaning | Hellinger | JSD | L1 | L2 |
|---|---|---|---|---|---|
| M1 Non-negativity | d(x,y) ≥ 0 | ✓ 1016/1016 | ✓ 1016/1016 | ✓ 1016/1016 | ✓ 1016/1016 |
| E1 Bound | d ≤ 1 (√2 for L2) | ✓ 1016/1016 | ✓ 1016/1016 | ✓ 1016/1016 | ✓ 1016/1016 |
| M2 Identity | d(x,x) = 0 | ✓ 508/508 + 8 byte-id | ✓ 508/508 + 8 | ✓ 508/508 + 8 | ✓ 508/508 + 8 |
| M3 Symmetry | d(x,y) = d(y,x) | ✓ 1016/1016 | ✓ 1016/1016 | ✓ 1016/1016 | ✓ 1016/1016 |
| M4 Triangle ineq. | d(x,z) ≤ d(x,y) + d(y,z) | ✓ 161,700 | ✓ 161,700 | ✓ 161,700 | ✓ 161,700 |
★ Finding 2: 24/24 aggregate axiom checks PASS + 646,800 triangle triples 全 pass
全 4 metric (Hellinger, JSD, L1, L2) が proper metric on 8-simplex として 実測 confirm。 理論的に も Endres-Schindelin 2003 (JSD) + Cha 2007 (survey) で known metric。
全 4 metric (Hellinger, JSD, L1, L2) が proper metric on 8-simplex として 実測 confirm。 理論的に も Endres-Schindelin 2003 (JSD) + Cha 2007 (survey) で known metric。
Step 4: Predictive tasks (3 sub-task)
Task A — 3-class pair classification (macro-F1)
| classifier | accuracy | macroF1 | F1(same) | F1(contradict) | F1(unrelated) |
|---|---|---|---|---|---|
| NCD-only threshold | 0.820 | 0.610 | 0.906 | 0.126 | 0.796 |
| Hellinger-only threshold | 0.481 | 0.389 | 0.641 | 0.440 | 0.085 |
| NCD+Hellinger rule (heuristic) | 0.507 | 0.494 | 0.644 | 0.041 | 0.797 |
★ Finding 3: 相補的強み 完全立証
- NCD が cross-topic 得意 (F1=0.796)、 contradict 苦手 (F1=0.126)
- D-FUMT₈ Hellinger が contradict 得意 (F1=0.440)、 cross-topic 苦手 (F1=0.085)
- 私 の combined rule は overfit + suboptimal、 proper ML training で 更に上げる余地
Task B — Translation retrieval (25 concept × 189 candidate)
| metric | MRR | P@1 | P@5 | 実行時間 |
|---|---|---|---|---|
| NCD (zstd) | 0.081 | 0.040 | 0.024 | 237.7 s |
| D-FUMT₈ Hellinger | 0.117 | 0.080 | 0.048 | 0.0 s |
★ Finding 4 (本 arc の 最強 signal、 2026-09-06 STEP 1845 で 全 撤回)
D-FUMT₈ Hellinger が NCD を 全 3 metric で 約 2× 上回る + 速度差 ~∞ 倍 (237.7s → 0.0s、 vector cache で zstd invocation 不要)。 word-level 翻訳検索 の operational task で D-FUMT₈ が NCD より 情報 carrying、 かつ 計算コスト 圧倒的優位。
★★★ Corrigendum (2026-09-06 STEP 1845、 chat-Claude 独立検証で 全 撤回) ★★★
上記 「2× win」 は uncontrolled artifact。 chat-Claude が 独立 harness 再実行 + 欠けていた chance level baseline を 計算:
上記 「2× win」 は uncontrolled artifact。 chat-Claude が 独立 harness 再実行 + 欠けていた chance level baseline を 計算:
- Task shape: pool 内 平均 6.6 gold per 188 candidate = analytic chance MRR = 0.1235 (E[1/min-rank] closed-form)
- D-FUMT₈ 0.1169 < chance 0.1235 (chance 以下)、 NCD 0.0806 << chance (更に下)
- Permutation p (50k) = 0.605、 bootstrap 95% CI [-0.020, +0.126] (0 包含)、 per-query NCD wins 18/25 (D-FUMT₈ 6/25) = 平均は 少数外れ値 で 引っ張られていた
- Tatoeba n=10,000 で 2× 再現せず (Tier 2 paired vs NCD p=0.127、 per-query NCD 1025 vs D-FUMT₈ 975)
- 「~∞× faster」 も execSync subprocess spawn artifact = 撤回、 in-process zstd は ~10 µs/compression、 algorithmic property ではなく implementation artifact
data/experiments/weaver-b-tatoeba-2026-09-06/REPORT.md、 本 STEP 1839 継続 = STEP 1845 corrigendum + Paper 179 v0.1 → v0.2 大改訂 + STEP 1837 protocol に Rule 7 (chance baseline mandatory before any retrieval MRR/P@k claim) 恒久追加。
Task C — Axis interpretability χ² test
| comparison | χ² | df=7 | interpretation |
|---|---|---|---|
| contradict vs same axis 分布 | 20.39 | > 18.48 (0.01 crit) | highly significant (p < 0.01) |
| unrelated vs same axis 分布 | 132.77 | >> 18.48 | highly significant (p < 0.01) |
Primary axis 分布 (text2、 label 別)
| label | TRUE | FALSE | BOTH | NEITHER | INFINITY | ZERO | FLOWING | SELF |
|---|---|---|---|---|---|---|---|---|
| same | 90.1% | 0.0% | 0.0% | 0.0% | 0.0% | 0.0% | 9.9% | 0.0% |
| contradict | 56.0% | 4.0% | 0.0% | 4.0% | 0.0% | 0.0% | 36.0% | 0.0% |
| unrelated | 44.6% | 0.0% | 1.5% | 0.0% | 0.0% | 0.0% | 52.3% | 1.5% |
★ Finding 5: FLOWING axis が cross-topic + contradict で 顕著上昇
axis 分布 が label に対して 統計的に有意な情報を持つ formal evidence。 same=9.9% → contradict=36.0% → unrelated=52.3% の 単調上昇 pattern が operational。
axis 分布 が label に対して 統計的に有意な情報を持つ formal evidence。 same=9.9% → contradict=36.0% → unrelated=52.3% の 単調上昇 pattern が operational。
Honest scope (5 層 preserve)
- 画期的判定 3 層 framing preserve (先出し 通り): Shannon 突破 = 型エラー、 Level B 完全 metric 確立 = 75 年 open、 provisional projection が candidate として promising 弱 evidence
- Corpus 制約: 全 programmatic (SNLI/STS-B の human-annotated gold standard 未使用)、 bilingual = dictionary lookup、 contradiction = grammar-injected negation
- Task A overfit: threshold grid search on same data、 train/test split 未実施、 in-sample F1 過大評価の可能性
- Task B statistical power: n=25 concept、 significance test 未実施、 Tatoeba/OPUS 等 real parallel corpus で 再現要
- External gold-standard 未比較: BERTScore requires sentence-transformers + GPU、 本 session 未実行 (STEP 1839-B 継続 candidate)
★ Session mis-frame 4 回 track record (STEP 1837 protocol 継承) ★
本 session 内で 私 (Claude Code) が 数値を mis-frame した 累計 4 回:
本 session 内で 私 (Claude Code) が 数値を mis-frame した 累計 4 回:
- cmix ~0.14 bpc = xz の 14x (bytes/char を bpc 誤読、 STEP 1837 で 訂正 1.17 bpc = 1.70x)
- 「1.70x = 100 MB → 59 MB、 41% 縮小」 (bpc 比 を 絶対圧縮率 誤読、 実際は 100 MB → 14.6 MB、 85% shrink)
- 「rationale 崩壊」 を 「chip が net-negative」 の 響きで framing (実際は justify axis 消失のみ、 positive gain preserve)
- 100 MB → ~59 MB restate (2 と 同起源、 独立 3 回目)
成果物 (総 file count)
| Layer | file | size |
|---|---|---|
| Source module | src/aios/weaver-level-b/ 7 file (types + unicode-classifier + contradiction-detector + projection + distance + index + corpus-builder) | ~1,100 行 |
| Test | test/weaver-level-b/ 2 file (projection-basic-test + metric-axiom-verify) | ~310 行 |
| Experiment scripts | scripts/experiments/ 4 file (spike v1 + order-k Markov + full + predictive) | ~1,050 行 |
| Data artifact | data/experiments/ 4 dir (spike + order-k + full + predictive) | ~600 KB JSON |
| Documentation | notepad + memory + hook + 本 site page + dist-renderer mirror | ~40 KB |
Next STEP candidate (藤本さん 「その後 B」 明示 済)
- 1839-B (継続、 藤本さん 明示 済): STS-B/SNLI real gold standard fetch + BERTScore GPU 比較。 External resource access (Hugging Face datasets + sentence-transformers) 準備要、 GPU env or CPU fallback で 実行、 本 session 内で 別 STEP allocation
- 1839-C: proper ML head (LR/SVM/small NN) with train/test split、 Task A macro-F1 目標 0.7+
- 1839-D: metric axiom を Lean 4 で formal 証明 (現状 empirical、 theoretical は Endres-Schindelin 2003 + Cha 2007 引用)
- 1839-E: contradiction-detector を semantic opposition (hot/cold 等) に 拡張、 BOTH axis の 弱矛盾 検出強化
参照
- site framework: /tools/infinite-dot-theory/ §3 open hypothesis 「ZCSG/D-FUMT₈ が Level B metric に なり得るか」
- 先行 corrigendum: STEP 1837 cmix bpc 単位訂正 (Rule 1-6 protocol 発案 source)
- Weaver 1949 anchor (site §1 内 引用)
- Carnap-Bar-Hillel 1952 (semantic information theory 祖)
- Niu-Zhang 2024 SIT (最近 formal semantic entropy)
- Endres-Schindelin 2003 (JSD metric proof) + Cha 2007 (distance/similarity measure survey)
- Papers 25 / 71 / 72 Rei-AIOS Recreation Paradigm
- Paper 162 「Shannon は意味を formal theory の外に置いた」 (DOI 10.5281/zenodo.20623710)
- memory file:
memory/project_step1839_weaver_level_b_full_arc_2026-09-06.md - notepad: /tools/notepad/ 内 STEP 1839 entry