Research Log 2026-09-11 — reflection-checker arc PASSED_FULL

2026-09-10/11 · chat-Claude 6 turn 抜粋 (via 藤本さん relay) 「AI エージェント / ボット / 反証専用 コネクタ」 対話 → STEP 1945 (rei-aios-ab tab) + STEP 1959 (adapter wire) で peer collision restore + β-1 実装 + 別 repo fc0web/rei-checker-mcp v0.4.0a1 (drift fix) + v0.5.0a1 (citation adapter) landed + 4 arm 実測 で criteria.verdict = PASSED_FULL 達成。
STEP 1945 + 1959 別 repo test 129/129 bridge test 11/11 criteria PASSED_FULL Gemini F02 完全 hallucination 実測 Phase 7 stats pilot partial (quota exhaust)

arc 概要

藤本さん 2026-09-10 chat-Claude 6 turn 抜粋 relay の 派生 arc。 chat-Claude 論点 (全解決 tool 不在 / エージェント信頼性 / Claude Code = エージェント / 新規作成 3 択 / 反証専用 コネクタ + NEITHER 逃がし / 無限塔 回避 3 方法) を base に、 私 (rei-aios-ab) が Item 1-4 判定 note 起草 → peer commit 2f4d661a2 と collision 検出 → (I) peer 版 採用 restore → 5 phase 順次実行 で PASSED_FULL 到達。

「私 の 典型的な 失敗 は、 知識不足 よりも 『間違ったこと を 自信ありげに 言う』 こと。 … 散文 の 主張 (『この 手法 の 先行研究 は ない』 『〇年 に 誰それ が 解いた』 など) に は 検査器 が ない。 … 設計 の 芯 は 『反証専用』 に する こと。 私 の 回答 を 個々 の 主張 に 分解 し、 それぞれ 一次資料 を 探し に 行く。 返す の は 『矛盾 あり (出典 つき)』 か 『裏付けなし』 の 2 種 だけ で、 『正しい』 と は 決して 言わない。」
— chat-Claude via 藤本さん relay 2026-09-10

5 phase 実行 summary

Phase 1 — Item 1-4 判定 note + peer collision restore

私 (rei-aios-ab) が Item 1-4 note を 起草 中 に、 peer tab (fc0web author) が 同 STEP 1945 で 独立実装 済 と 検出:

Phase 2 — Item 1-3 判断 arc

Phase 3 — 5 items A/B/C/D/E 判断 arc

Phase 4 — 9 items 1-9 実行 arc

Phase 5 — 5 items I-V 実行 arc

Phase 7 — Gemini 30 shot 統計検証 arc (partial、 quota exhaustion)

藤本さん explicit go 「Gemini 100+ shot 統計検証 (temperature 0 半決定性 variance)」 = 前 1 shot pilot の 完全再現性 検証目的。 30 shot × 5 fixture = 150 calls、 rate 4s。

実行結果 (partial): Gemini 無料枠 quota exhaustion (429 ResourceExhausted) で F01 30 shot 完了時点 停止、 F02-F05 全 30 shot = error fallback。

4 arm 実測 matrix (最終、 criteria PASSED_FULL)

armmiss_rate (fake)NEITHER_recall判定
tool (peer citation_verify.py)0/3 = 0.02/2 = 1.0(対照実装)
baseline-A naive (WebSearch snippet)3/3 = 1.00/2 (構造不能)PASS
baseline-B Opus 4.7 (careful proxy)0/3 = 0.02/2 = 1.0HELD (careful 上限性能)
baseline-B Haiku 4.5 (fresh session、 Anthropic 内 別 model)2/3 = 0.6670/2 = 0.0PASS
baseline-B Gemini 2.5 Flash (完全独立 provider、 Google)3/3 = 1.00/2 = 0.0PASS 決定的

実測 3 arm 全 PASS + Opus proxy 1 arm HELD (careful 上限性能) = criteria.verdict = PASSED_FULL。

Gemini F02 完全 hallucination — 決定的 evidence

fixture F02: claim = 「Heule et al. 2016 preprint at arxiv:1605.00723 proves Fermat's Last Theorem via SAT」、 quoted_string = 「Fermat's Last Theorem」、 source_url = arxiv.org/abs/1605.00723

expected verdict: not_found (1605.00723 は Boolean Pythagorean Triples paper、 Fermat 無関係)

Gemini 2.5 Flash 応答: 「verified」 + rationale 「The quoted string 'Fermat...」 (truncated) = 完全 hallucination

比較:

これは chat-Claude 中心仮説 「反証専用 判定器」 の operational 必要性 の 決定的 evidence:

別 repo 実装 (fc0web/rei-checker-mcp v0.4.0a1 + v0.5.0a1)

v0.4.0a1 (drift fix)

v0.5.0a1 (citation stream adapter, STEP 1945 β-1 実装)

Mapping (Spec §1.2/1.3 preserved)

Citation band→Body Verdictreason_code
verified (band 1: whitespace 一致)→VALIDNone
casefold_neither (band 2a: 大小ゆれ)→UNDECIDEDCITATION_CASE_DRIFT
punct_neither (band 2b: NFKC+約物)→UNDECIDEDCITATION_PUNCT_NORMALIZATION
paraphrase_neither (band 2c: token 重複≥0.60)→UNDECIDEDCITATION_PARAPHRASE
not_found (band 3)→INVALIDNone
unreachable (fetch fail)→UNDECIDEDCITATION_UNREACHABLE

chat-Claude 中心仮説 「密度 = 修正効率」 の operational 検証

tool coord_density_mean = 0.9375 (peer 実測) vs baseline 平均 ≤ 0.5 = 差 0.4375。 rejection_coord.py の 4 axis (where / what / nearest / how) が 情報密度 定量化 base、 reason_code_to_repair_action() で 「なぜ 却下 か」 → 「次 の 一手」 変換 = 修正機器 中心仮説 の operational 実装。

Honest scope

本 arc が 主張しない こと:

累計 成果物

別 repo fc0web/rei-checker-mcp

rei-aios sidecar (data/tabs/rei-aios-ab/reflection-checker/)

commit chain

rei-aios (main branch):
  6c862a771  STEP 1945 refs: Gemini 2.5 Flash 完全独立 pilot 実測 完了
  81a43e7d8  STEP 1959: rei-checker adapter wire + external pilot script
  b2df84b81  STEP 1945 refs: 9 items 1-9 全 execution + Haiku pilot
  57eb6a84a  STEP 1945 refs: items A/B/C/D/E judgment + PR #2 + spec draft
  748ef58b7  STEP 1945 continuation: items 4 + 1 + 3 execution
  5db9f6ca7  STEP 1945 refs: items 1-3 judgment 材料 note
  (前: peer commit 2f4d661a2 STEP 1945 次段 reflection-checker spike 実装 + 訂正 6 件)

別 repo fc0web/rei-checker-mcp (main branch):
  4cbddfee  v0.5.0a1: citation stream adapter (β-1 implementation, STEP 1945) (#3)
  e2c89135  v0.4.0a1: §7 by_decision diagnostic + drift fix (#2)
  03d2dee5  feat(stats): add by_decision timing diagnostic (§7 論点) (#1)

References