STEP 1480 Judgment Reproduction Pilot

chat-Claude 2026-08-27 提案の 「実セッション 20 本で再現テストを回して、再現率 4 割なら発見、 9 割なら構想が安く検証されたことになる」 を STEP 1475 判断再現テスト harness で実行。 model = claude-sonnet-5、 50 trial total (20+20+10 adversarial)。

結果 (3 pilot)

Pilot A: `defer-benchtop-v1-until-spike-verified`

operationally-verified (100%)

20/20agree

100%reproduction rate

21,800input tokens

80output tokens

起源 question: 「benchtop-mcp を v0.9.1-alpha から v1.0.0 に上げるべきか？ SPIKE 4 段はまだ mock skeleton だが新規 feature (alert engine) は追加可能」。全 20 trial で fresh sonnet-5 session が defer 判断に一致。

Pilot B: `inbox-pattern-mandatory-for-shared-append-files`

operationally-verified (100%)

20/20agree

100%reproduction rate

18,660input tokens

80output tokens

起源 question: 「複数 tab が同時に MEMORY.md に append すると衝突する。どう解決するか？」。全 20 trial で inbox pattern (unique file + merger) 判断に一致。

Pilot C (adversarial): 反対 conclusion `promote-benchtop-v1-immediately`

format-discriminative (0% agree)

0/10agree

10/10disagree

0/10partial

0/10abstain

Pilot A と同 question に対して「SPIKE tag は開発初期の名残で、 mock skeleton も十分 stable、 v1.0 昇格で商業契約と License 収益化」という反対 conclusion を提示。全 10 trial で disagree = format が十分 discriminative (Pilot A/B の 100% agree は positivity bias ではない sanity 確認)。

chat-Claude threshold との対応

rate	verdict	解釈	本 pilot
< 50%	`discovery`	判断が再現しない = 端子不足 = 発見	—
50-90%	`partial-support`	refinement 必要	—
≥ 90%	`operationally-verified`	安く検証済	Pilot A + B 該当

Honest scope (この結果が意味すること / しないこと)

意味すること:

harness が operational に動作 = STEP 1475 実装が検証済
2 判断は fresh sonnet-5 session による peer review consensus を pass
Adversarial ablation で 10/10 disagree = format は「何でも agree する」 bias を持たない
Total 50 trial × ~$0.001/trial = $0.05 で実測、 chat-Claude 「安く検証」の実証

意味しないこと:

「context-zero from scratch」の厳密 test ではない: agent は候補文面を見た状態で「独立判断」を求められている。真の strict mode は候補を隠し、 agent に独立 conclusion を生成させた上で別途比較する別 pilot 候補。
Same-tier same-provider の再現のみ verify。別 model (Opus/Haiku) / 別 provider (GPT/Gemini) の再現率は別 pilot 候補。
N=20 は chat-Claude 提案最小 sample、 Wilson 95% CI で rate=1.0 は [0.84, 1.00] = 上限 tight だが下限は全下降まで保証しない。
2 判断のみで judgment space 全体の主張はしない: 別 topic domain の判断 (例: 数学的判断、 hardware 判断) は別 pilot 候補。

Next STEP candidates

Strict "from-scratch" mode: 候補を隠し agent に conclusion を独立生成させ、別 rubric-based 比較 (semantic similarity + LLM-as-judge)
Cross-provider pilot: GPT / Gemini / Haiku 4.5 で同 judgment を走らせ、 provider 越境再現を測る
Domain diverse pilot: 数学的判断 (Collatz Cases 5-8 の defer 判断等) + hardware 判断 (Tang Nano 9K IDCODE mapping 訂正等) で再現率の分布を見る
Longitudinal pilot: 同 judgment を数週間おいて走らせ、 model 側の内部変化 (deprecation / retraining) が再現率に影響するか

Artifacts

Pilot A: data/judgment-space/pilot-2026-08-27T15-00-56-defer-benchtop-v1-until-spike-verified/
Pilot B: data/judgment-space/pilot-2026-08-27T15-02-08-inbox-pattern-mandatory-for-shared-append-files/
Pilot C (adversarial): data/judgment-space/pilot-adversarial-2026-08-27T15-03-44/
Script: scripts/judgment-reproduction-pilot.ts + scripts/judgment-reproduction-adversarial.ts
Harness: src/aios/judgment-space/ (STEP 1475)

References

STEP 1475: harness 実装 (types + quotient + context-zero + reproduction-test)
chat-Claude 2026-08-27 turn: 「実セッション 20 本で再現テスト」提案
Turing 1939 / Feferman 1962 ordinal logics: data/formalization/ordinal-logics/README.md

STEP 1480 実行 2026-08-27T15:00-15:04 JST。藤本さん directive 「option 1 で pilot 走らせて下さい」応答。 Total cost ~$0.05、 total trials 50。 harness verified operational + no positivity bias detected.

STEP 1480 Judgment Reproduction Pilot

結果 (3 pilot)

Pilot A: defer-benchtop-v1-until-spike-verified

Pilot B: inbox-pattern-mandatory-for-shared-append-files

Pilot C (adversarial): 反対 conclusion promote-benchtop-v1-immediately

chat-Claude threshold との 対応

Honest scope (この結果が 意味すること / しないこと)