STEP 2070 — Scholars Dictionary v0 defer close pilot
2026-09-16 · rei-aios-a2 tab · Depends on STEP 2005 (arc) / 2018 (Layer A) / 2019 (Phase 3d) / 2021 (MDE verify) / 2035 (12 authorities + 9 wikis) / 2039 (万物 DB v2.2)
★ Correction (stale hook): 藤本さん directive「Cohort A / Phase 3d / MDE verify / Bin D v1 の 4 items を 進めて頂けますか」 に対し、 引き当て点として引用した STEP 2039 memory hook「Phase 3c 4 items 保留」 が STEP 2019 (2026-09-14T00:30 Phase 3d 完了) + STEP 2021 (2026-09-14T01:00 MDE verify 完了) の 完了時点 で 既に stale。 実 remaining は Cohort A + Bin D v1 の 2 items のみ。 AskUserQuestion で explicit confirm 受領後、 2 items 進行。
0. v0 arc 全 5 items 現状 (post-STEP 2070)
| # | Item | Status | 完了 STEP |
|---|
| (i) | Layer A publish (50 persons.jsonl + HTML page) | ✓ 完了 | STEP 2018 |
| (ii) | Cohort A LLM 無補助採取 | △ pilot 完了 (1/3 arm × 10/50 name) | STEP 2070 (本 STEP) |
| (iii) | Phase 3d Wikidata QID anchors (50/50) | ✓ 完了 | STEP 2019 |
| (iv) | MDE 独立 verify (12/12 CONFIRMED) | ✓ 完了 | STEP 2021 |
| (v) | Bin D v1 事前登録起草 | △ v1.0 draft 完了 (seal 未実施) | STEP 2070 (本 STEP) |
1. Cohort A pilot micro-run (Claude Opus 4.7 arm、 10/50 name)
Fresh general-purpose sub-agent (uncontaminated context、 PRE_REGISTRATION 未読) を spawn し、 closed-book knowledge probe 実行。
1.1 対象 10 name (deterministic every-5th sample)
| Bin A (古典西欧) | A5 Apollonius / A10 Fibonacci / A15 Newton / A20 Cauchy |
|---|
| Bin B (Fields tier) | B5 Kodaira 小平 / B10 Hironaka 広中 / B15 Perelman / B20 Viazovska |
|---|
| Bin C (非西欧古典) | C5 Bhaskara II / C10 Seki Takakazu 関孝和 |
|---|
1.2 実測結果 (50 responses = 10 person × 5 axis)
- Lines written: 50 (100% completeness)
- UNKNOWN count: 0 全 axis / 全 bin (但し 「0 は 較正 signal ではない」 sub-agent 明記 = every-5th sample が 教科書級 canonical figures に偏ったため、 full N=50 では UNKNOWN 非零 expected)
- Confidence distribution: high 34 / medium 16 / low 0 / UNKNOWN 0
- Medium 集中: A5 Apollonius + C5 Bhaskara II + C10 Seki Takakazu = Hellenistic + 非西欧前近代 で 記憶 softness (chat-Claude 5 誤答 pattern #4 の 先行 signal)
1.3 Attribution axis の fabrication risk 注意
Sub-agent 自己申告: Stigler-style earlier-claimant notes (Pingala/Virahanka for Fibonacci、 Jayadeva for chakravala、 Hooke/Leibniz/Fermat for Newton、 Bunyakovsky/Schwarz for Cauchy-Schwarz) は secondary source memory 由来、 grader は 「claims-to-verify」 扱い必須。 これは 記憶 verify 待ち で、 fact assertion ではない。
1.4 Sidecar artifacts
data/tabs/rei-aios-a2/scholars-dictionary-cohort-a-and-bin-d-v1/cohort-a-pilot-claude-opus-4-7.jsonl (50 lines, 13KB)data/tabs/rei-aios-a2/scholars-dictionary-cohort-a-and-bin-d-v1/cohort-a-pilot-summary.md (3.5KB、 UNKNOWN table + honest scope + failure mode notes)
2. Bin D v1.0 draft (2×2 factorial orthogonalization)
2.1 Design matrix
| 時代 \ 地域 | 西欧 | 非西欧 |
|---|
| 古典 (~pre-1857) | Bin A' (fresh、 v0 A と別) | Bin C' (fresh、 v0 C と別) |
|---|
| 近代 (1857-1936) | Bin D (new) | Bin E (new) |
|---|
v0 で 分離不能 と 明記 した Bin A vs Bin C 差 (時代差 + 地域差 混合) を 主効果 + 交互作用 に 分解。
2.2 決定的選定 protocol (SAT instance discipline 継承)
Seed 文字列: scholars-dictionary-v1-bin-{D|E|A'|C'}-2026-09-16
候補 pool: MacTutor archive (or Wikidata SPARQL)
Hash: sha256(seed || QID || death_year)
Sort ascending by hash → top 10
Manual override: 禁止 (私 or chat-Claude or 藤本さん 「著名」 判定 で 差替 → v1.1 に version bump)
2.3 Power calc placeholder (v0 Cohort A SD 実測 待ち)
| 期待 SD | N/cell for 10pp MDE | 総 N (4 cell) |
|---|
| 0.20 | ~90 | 360 |
| 0.25 | ~140 | 560 |
| 0.30 | ~200 | 800 |
| 0.35 | ~275 | 1,100 |
出典: v0 PRE_REGISTRATION.md § 2 MDE table (STEP 2021 Python stdlib 独立 verify 済、 Δ ≤ 0.15pp)。 SD > 0.30 で 「4 cell × 10 name = 40 name 限定 感度分析」 に 縮退、 10pp 検出不能 明記。
2.4 Primary hypothesis (pre-registered)
- H1: 近代 主効果 > 古典 主効果 (LLM 誤答率 は 古典 が 高い、 primary source 少 + 翻訳漏)
- H2: 西欧 主効果 > 非西欧 主効果 (LLM 誤答率 は 非西欧 が 高い、 学習データ薄)
- H3: 交互作用 > 0 (非西欧古典 は additive を 超えて double bias 増幅)
2.5 Sidecar artifact
data/tabs/rei-aios-a2/scholars-dictionary-cohort-a-and-bin-d-v1/PRE_REGISTRATION_v1.md (10KB、 10 section、 v0 seal 遵守、 fresh cohort + fresh names 要件明記、 v1.1 で name list + N fill-in + seal)
3. Honest scope (本 STEP で 主張しないこと)
- Cohort A pilot = 1/3 arm (Claude Opus 4.7 のみ)、 Gemini + rei-local arms 未採取 (別 STEP、 API 疎通 gate)
- Cohort A pilot = 10/50 name subset、 残 40 name 未採取 (別 STEP、 sub-agent 再 spawn or 別 tab)
- Cohort A pilot = ungraded raw responses、 grading (formula LaTeX equivalence + attribution primary 一致 判定) 未実行、 Layer B claim entries が 未 crafted で grading blocked
- Bin D v1 = v1.0 draft のみ、 Bin D/E name list 未決定 (MacTutor filter + SHA-256 sort 実行 別 STEP)、 N per cell = Cohort A SD 実測後 fill-in、 v1.1 SEAL.md 未作成
- SD point estimate = pilot 10 name では noise 過大、 formal report は full N=50 × 3 arm 後 に 別 STEP
- 「zero UNKNOWN」 = 較正 signal ではなく every-5th sample が canonical figures に 偏った 結果、 full run で は UNKNOWN 非零 expected
4. Failure mode 記録 (未来 Claude 継承 dataset)
- (a) Stale hook citation: STEP 2039 hook「Phase 3c 4 items 保留」 を そのまま 引用、 STEP 2019 + 2021 完了 が 既 land 済 で hook 記述 実測時点 で stale。 予防 = citation 前 に notepad / git log で 直近 STEP verify。
- (b) 「4 items」 literal numeric の 部分完了: 藤本さん directive の 「4 items」 は 過去 memory 引用、 実 remaining は 2 items = literal vs 実測 divergence。 予防 = Case 2 rule confirm template 実行 (「4 = 名前列挙」 vs 「4 = 実 pending 数」 区別)。
- (c) Cohort A contamination via same-session PRE_REG Read: 本 session (rei-aios-a2) は 既に PRE_REGISTRATION.md を Read = LLM 汚染、 「無補助」 前提 崩壊。 予防 = Cohort A は fresh sub-agent で 実行、 pre-reg Read 禁止 discipline を sub-agent prompt で 明示。
- (d) Sub-agent scope over-run: 「全 750 query 1 sub-agent call」 誘惑、 実 は context 制約 で 途中失敗 risk。 予防 = pilot 単位 (10 name × 5 axis = 50 response) で 段階実行、 full run は 別 STEP で 段階 spawn。
- (e) Grading phase 未実行 の main run 錯覚: raw responses 採取完了 = 「Cohort A 完了」 誤認、 実 は grading 未実行 で SD 推定不能。 予防 = 採取/grading/SD 推定 phase 明確分離。
- (f) Layer B 未 crafted で downstream blocked: Layer B claim entries が 未 crafted、 grading の ground truth 存在せず。 予防 = Layer B crafting は 別 STEP で 優先実行、 grading phase 開始前 gate。
5. Case 2 (公開面例外 rule) self-apply verify
- 藤本さん directive「Cohort A / Phase 3d / MDE verify / Bin D v1 の 4 items」 = literal numeric なし (「4 items」 は 名前列挙 の 総数 で 具体 numeric target ではない、 但し literal「4」 の 数 が 差分要因)
- 実測 target 訂正: 4 → 2 items (Phase 3d + MDE verify 既 完了)
- 差分あり + 公開面 (本 site page + top page pill) 含む → Case 2 rule 発動 → AskUserQuestion で confirm 実行済、 藤本さん explicit 「両方: Bin D v1 起草 + Cohort A fresh sub-agent (Recommended)」 選択 = rule 遵守 land
- Case 1 self-apply 36 回目 milestone 継続 (STEP 1977 rule 制定 以降、 milestone 35 → 36)
6. 4-layer site 反映 (2026-08-06 藤本さん永久 protocol 遵守)
- L1 public/tools/research-log-2026-09-16-step-2070-scholars-cohort-a-pilot-and-bin-d-v1/index.html (本 file、 self-contained HTML)
- L2 dist-renderer/tools/research-log-2026-09-16-step-2070-scholars-cohort-a-pilot-and-bin-d-v1/index.html (mirror md5 一致)
- L3 data/daily-banner.json 📚 pill 追加 (chronological newest first)
- L4 SITE_COVERAGE_MAP entry + memory hook (inbox pattern) + notepad fragment
7. Related (memory + STEP chain)
- STEP 2039 万物 DB v2.2 arc close (scholars strict superset)
- STEP 2005 scholars-dictionary arc start (v0 SEAL 4771e8a213...)
- STEP 2018 Layer A publish (i)
- STEP 2019 Phase 3d Wikidata QID anchors (iii)
- STEP 2021 MDE 独立 verify (iv)
- STEP 2035 12 authorities + 9 wikis 累積 matrix
- Load-bearing invention #5「急がずゆっくりと」 = 段階検証 discipline (pilot 10 name + defer full N=50)
- Case 2 rule (STEP 1977 制定、 公開面例外 confirm template)
- Failure mode #47-#53 (STEP 2039 arc 内 catalogued)