canary の偽発見率(実測)
–
答えが既知の問題で「発見」と言った率
本番主張のうち偽の割合
–
canary からの推定 / 神の視点
昇格
–
真 / 偽 / 昇格精度
保存層と差戻し
–
保存(未 review)/ 差戻し
自由対話の収穫(直近)
–
無補正 / BH 補正後
事前登録との照合
–
リセット時に固定した予想昇格精度
保存層のログ
- 主張が保存されるとここに並びます。
このモデルが示していること
出所マーカー。保存される主張には必ず [orig: Rei-n] が付きます。誰がどの回で言ったかが消えると、後から検証できません。
状態ラベル。語り合いの出力は全部「未 review」で保存されます。昇格は外部の読み手を通ったものだけです。
canary。答えが既知の問題を本番と同じ条件で並走させ、偽発見率をその回の中で実測します。
BH 補正と役割の分離。自由対話から拾う候補は数を記録して補正し、拾い手と検証者を分けます。
自己検証の非自性。「自己検証」を入れ、共有盲点 ρ を上げてみてください。偽の主張がそのまま昇格していきます。
モデル式(説明用の仮定であり、実測値ではありません)
有効独立数 Neff = N / (1 + (N−1)ρ)。本番で真の発見が見つかる確率 p真 × (1 − 0.65^Neff)。見つからないとき、偽の収束が起きる確率 0.02 + 0.55ρ²(0.6 + 0.4·min(N,12)/12)。canary でも同じ式で偽の収束が起きます。自由対話の候補の p 値は、真なら U³×0.01、偽なら U^(1+2ρ)(共有盲点で偽が有意に見えやすくなる)。外部の読み手は偽を確率 d で検出し、真を 0.92 で通します。Lean4 は候補の半分だけが形式化可能で、偽の検出 0.97。自己検証は外部の読み手を置き換え、検出率が d(1−ρ) に落ちます。