Rei stack fullstack STS-B attack — 22 feature × 5-fold CV × 8 subset ablation で 「何が効果的か」 系統的診断
藤本さん 2026-09-06 「Reiのエンジン、 曼荼羅、 等 の 既存 アイテムを 全て 駆使 して 挑んで頂けますか？ その結果、 何が 効果的だったかも 調べて下さい」 directive の 直接応答。 STEP 1841 で D-FUMT₈ が STS-B で 0.097 に 敗退した後、 Rei stack の 22 feature (D-FUMT₈ + Unicode-classifier + Contradiction-detector + Rei M-structure + NCD 2 種 + Char/Word overlap + Script overlap + entropy) を fullload で 投入、 5-fold CV ridge regression + 8 subset ablation で 「何が効果的か」 系統的診断。
★ 驚きの発見 (先出し) ★
- 単純な char 2-gram Jaccard が Pearson 0.6450 で 単独 top — 全 22 feature 中 最強、 SBERT (0.828) の 77% recovery を untrained + O(n) compute で 達成
- 22 feature ensemble (0.5327) が 3 feature subset (0.6388) に 負けた — 低 signal feature の 混入 が dominant feature を dilute (overfitting evidence)
- Rei M-structure periphery Jaccard が 0.5287 で 4 位 — Rei-native invention (STOPWORDS 除去 + content word 抽出) が classical word_cosine (0.49) を 上回る 独自貢献
- D-FUMT₈ 8 axis 系 全 4 metric (Hellinger 0.097 / JSD 0.10 / L1 0.11 / L2 0.11) は 個体 底辺 = STEP 1841 verdict 独立補強、 但し Ridge β では d8_l1 が 2 位 |β|=0.325 (交絡 存在)
実験設定
22 feature 一覧
| # | feature | 出所 |
|---|---|---|
| 1-2 | ncd_zstd, ncd_xz | Kolmogorov proxy (zstd -19 + xz -9e) |
| 3-6 | d8_hellinger, d8_jsd, d8_l1, d8_l2 | D-FUMT₈ 8 axis distance 4 variant (STEP 1839 formal projection) |
| 7-8 | axis_primary_match, axis_secondary_match | D-FUMT₈ categorical (primary/secondary axis 一致) |
| 9-10 | script_jaccard, script_l1 | Unicode-classifier (18 script) |
| 11-13 | char_1/2/3gram_jaccard | char n-gram overlap |
| 14-15 | word_jaccard, word_cosine | token-level (whitespace split) |
| 16 | length_ratio | trivial (min/max char count) |
| 17 | semantic_bearing_delta | Unicode isSemanticBearing ratio delta |
| 18-19 | contradiction_overlap, both_have_negation | Rei Contradiction-detector 8 言語 33 pattern |
| 20-21 | m_center_match, m_periphery_jaccard | Rei M-structure (STEP 260 MeaningCompressionEngine 相当、 STOPWORDS 除去 + content word) |
| 22 | char_entropy_delta | Shannon char entropy delta |
評価 (n=1379 STS-B pair)
- 個別 feature: Pearson r + Spearman ρ vs STS-B gold (0-5)
- Ensemble: Ridge regression (λ=1.0)、 5-fold CV
- Subset ablation: 8 種類 (D-FUMT₈-only / NCD-only / Word-only / Char-only / Word+Char / Rei-native only / no-Rei / all)
- Feature importance: standardized β from full-fit
結果 (22 feature 全 ranking、 features are DISTANCES so 負の r 期待)
| rank | feature | |r| | 出所 |
|---|---|---|---|
| 1 | char_2gram_jaccard | 0.6450 | char-level |
| 2 | char_3gram_jaccard | 0.6306 | char-level |
| 3 | word_jaccard | 0.5696 | token-level |
| 4 | m_periphery_jaccard | 0.5287 | Rei M-structure ★ |
| 5 | ncd_zstd | 0.4983 | Kolmogorov |
| 6 | word_cosine | 0.4862 | token-level |
| 7 | ncd_xz | 0.4728 | Kolmogorov |
| 8 | char_1gram_jaccard | 0.4448 | char-level |
| 9 | m_center_match | 0.2904 | Rei M-structure ★ |
| 10 | char_entropy_delta | 0.1440 | Shannon |
| 11 | d8_l2 | 0.1131 | D-FUMT₈ |
| 12 | d8_l1 | 0.1111 | D-FUMT₈ |
| 13 | axis_primary_match | 0.1099 | D-FUMT₈ |
| 14 | d8_jsd | 0.1019 | D-FUMT₈ |
| 15 | d8_hellinger | 0.0967 | D-FUMT₈ |
| 16 | axis_secondary_match | 0.0930 | D-FUMT₈ |
| 17 | length_ratio | 0.0749 | trivial |
| 18 | semantic_bearing_delta | 0.0735 | Unicode |
| 19 | script_l1 | 0.0725 | Unicode |
| 20 | contradiction_overlap | 0.0261 | Rei negation |
| 21 | both_have_negation | 0.0223 | Rei negation |
| 22 | script_jaccard | 0.0089 | Unicode |
Subset ensemble ablation (5-fold CV Pearson)
| subset | features | r | note |
|---|---|---|---|
| Char n-gram のみ (3) | char_1/2/3gram_jaccard | 0.6388 | ★ 最高 subset |
| Word + Char (5) | word + char n-gram | 0.6340 | |
| NCD + Word + Char (7) | 上記 + NCD 2 種 | 0.6244 | |
| Word-level のみ (2) | word_jaccard + cosine | 0.5581 | |
| 全 22 feature | 全部 | 0.5327 | ← subset に 負ける (overfitting) |
| NCD のみ (2) | ncd_zstd + ncd_xz | 0.5093 | |
| Rei-native のみ (13) | D-FUMT₈ + Unicode + Contradiction + M | 0.4309 | |
| D-FUMT₈ のみ (6) | Hellinger/JSD/L1/L2 + axis match | 0.1212 | ← 最弱 |
「何が効果的だったか」 verdict
★ Effective (高 signal)
- char 2-gram Jaccard = 0.6450 単独 — 単純な 文字 bigram overlap が 最強 predictor
- Rei M-structure periphery Jaccard = 0.5287 — Rei-native invention が 独自貢献 (word_cosine 0.4862 を 上回る)
- NCD (Kolmogorov proxy) = 0.4728-0.4983 — byte-level compression 距離 が 中程度 signal
- Char n-gram subset ensemble = 0.6388 — 3 feature の 集合が 22 全 feature (0.5327) を 上回る = 高 signal 集中 の 教訓
✗ Ineffective (低 signal) on STS-B
- D-FUMT₈ 全 4 metric (Hellinger/JSD/L1/L2 0.09-0.11) — 英単言語 sentence 類似 では 情報 carrying なし (STEP 1841 で 独立検証済)
- axis primary/secondary match (0.09-0.11) — 分布 discretization で 情報損失
- Contradiction/negation feature (0.02-0.06) — STS-B は contradict pair 少数
- Script overlap/L1 (0.007-0.07) — 全 pair 英語 (Latin script のみ) で discrimination なし
- Semantic bearing delta, char entropy delta, length ratio (0.07-0.14) — 統計的 noise レベル
★★ 予想外の findings
- 22 feature ensemble が 3 feature subset に 負けた (0.5327 vs 0.6388) = 低 signal feature の 混入 が dominant feature を dilute (regularization λ=1 でも 完全 mitigate 不可)
- d8_l1 が Ridge β で 2 位 (|β|=0.325) だが univariate |r| で 12 位 (0.111) = D-FUMT₈ feature が char_2gram の 残差 を 部分説明 = 完全 independent ではなく 交絡 存在
- Rei M-structure periphery Jaccard (0.5287) が word_cosine (0.4862) を 上回った = STOPWORDS 除去 + content-word 抽出 の 単純ヒューリスティックが 意外に 効いた
SBERT baseline との 比較
| metric | Pearson r | SBERT との gap |
|---|---|---|
| SBERT cosine (all-MiniLM-L6-v2) | 0.8280 | baseline |
| Rei-fullstack 最良 single (char_2gram_jaccard) | 0.6450 | -0.183 |
| Rei-fullstack 最良 subset (Char n-gram 3) | 0.6388 | -0.189 |
| Rei-fullstack 全 22 feature ensemble | 0.5327 | -0.295 |
| D-FUMT₈-only ensemble (6) | 0.1212 | -0.707 |
verdict: Rei stack fullload (22 feature) でも SBERT trained embedding に ~0.18-0.30 gap 存在。 但し 単純な char n-gram Jaccard (untrained + O(n) compute + no dependency) が 0.64 到達 = SBERT 対比 ~77% の 情報 recovery、 訓練 embedding なしでも 意外に close。
教訓 (作業原則 update)
- 「全部乗せ」 は 常に 良いわけではない — 低 signal feature は Ridge regularization でも 完全 mitigate 不可、 dominant feature を dilute
- 単純 baseline (char n-gram) が 実際は 最強 の 事例 — 過度 engineering の 予防
- D-FUMT₈ 設計 focus (Unicode-aware + multi-lingual + contradiction detection) は STS-B の domain (English monolingual sentence) に mismatch — STEP 1841 verdict 独立補強
- Rei M-structure (STEP 260 MeaningCompressionEngine) の periphery Jaccard は independent 貢献 — Rei-native invention の 正当な value 判明
- Task-domain-specific tool の framing 継続、 「universally superior」 主張 は 明確に refute
Honest scope (6 層)
- STS-B は 英単言語 sentence-level、 D-FUMT₈ の 勝ち domain (cross-lingual + word-level) と mismatch
- Ridge regression は closed-form (Gauss-Jordan)、 sklearn 等 高精度実装 と 若干 differ
- 5-fold CV は same-dataset split、 proper holdout gold-standard test は 別
- Char n-gram 0.64 は untrained baseline、 STS-B leaderboard には trained-embedding が 0.85+ で 存在
- Mandala Supreme は 直接 call せず: SeedTheory 構造化 で 呼ぶ 必要、 raw text からの adapter が 未実装、 本 experiment scope 外 (別 STEP 候補)
- Rei theory-vector (DotVectorTrinity) 未含有: SeedTheory 構造化 要、 raw text adapter 未実装、 別 STEP 候補
Next STEP candidate
- STEP 1843+ (Mandala Supreme direct call): SeedTheory synthesis adapter で raw text から Mandala observe 実行、 18 cluster lens 出力 を feature に 追加
- STEP 1843+ (DotVectorTrinity direct call): TheoryVectorizer で raw text から Float32Array 抽出、 cosine 距離 を feature に 追加
- STEP 1843+ (Lasso feature selection): Ridge β の noise feature を 自動 除去、 subset ensemble を automatic に
- STEP 1843+ (別 dataset extension): SICK sentence similarity、 SNLI entailment、 Tatoeba parallel で feature effectiveness の general pattern を 検証
参照
- 直接前 STEP: STEP 1841 STS-B external gold evaluation (SBERT 0.828 vs D-FUMT₈ 0.097)
- STEP 1839 Weaver Level B full arc (予測 起源)、 STEP 1837 cmix corrigendum (Rule 1-6 protocol)
- Rei M-structure: STEP 260 MeaningCompressionEngine (src/axiom-os/meaning-compression-engine.ts)
- Mandala Supreme (未直接 call): src/axiom-os/mandala-supreme-engine.ts
- DotVectorTrinity (未直接 call): src/axiom-os/dot-vector-trinity.ts