---
name: L4 Haiku vs Heuristic Disagreement (preprint bias)
description: 2026-04-27 50 paper experiment 結果. Heuristic は preprint corpus に systematic TRUE bias 76%, Haiku は FLOWING 86%. κ=0.004
type: project
originSessionId: dc134806-8461-4595-93c9-2776f242383c
---
# L4 Haiku vs Heuristic disagreement finding (2026-04-27)

## 実験設定
- 50 papers (zenodo 27 / osf 21 / biorxiv 2) sample from `scores-2026-04-26.json`
- script: `scripts/research-radar/compare-l4-haiku-vs-heuristic.ts`
- output: `data/research-radar/l4-comparison-2026-04-26.{json,md}`
- cost: ~$0.017 (50 × $0.000338)

## 結果

| Metric | Value |
|--------|-------|
| Raw agreement (P_o) | 16.0% |
| Expected (P_e) | 15.7% |
| Cohen's κ | **0.004** (slight) |

### Distribution
- Heuristic: **TRUE 76%** / BOTH 10% / FLOWING 12% / SELF 2%
- Haiku: **FLOWING 86%** / TRUE 6% / BOTH 8%

### Confusion (Heuristic → Haiku)
- TRUE → FLOWING: **32 件** (主要不一致)
- TRUE → BOTH: 4
- BOTH → FLOWING: 4

## 解釈 (重要)

不一致は bug ではなく **systematic semantic divergence**:

- **Heuristic** は keyword pattern (`prove`, `theorem`, `establish`) のみで TRUE 判定 → preprint であることを認識しない
- **Haiku** は SYSTEM_PROMPT の `FLOWING — provisional / preprint not yet validated` 定義に従い、 publication date を見て "provisional" 判定 → 多くは正しい

**Why:** preprint corpus では Haiku の方が D-FUMT₈ semantic に正しい. heuristic は published-paper corpus 向けで、preprint 中心の現状 source mix では systematic bias が生じる.

**How to apply:**
1. **L4 は Haiku 必須** for preprint sources (Zenodo / OSF / bioRxiv / arXiv preprint).
2. heuristic は **published-only corpus** または **Haiku unavailable fallback** に限定.
3. Track 1.5 daily-radar に Haiku 経由の score を default 採用. heuristic は audit 用.

## Paper 140 / 141 への含意

- 「`scoreL4Heuristic` は preprint corpus で 76% TRUE bias」という empirical な honest 実証データができた
- chat Claude 先生の 5-Layer Scorer 品質保証への懸念 (Tier 1 #3) に部分回答
- 残: 人間 (藤本さん) third rater による真の inter-rater agreement (κ vs Heuristic, κ vs Haiku)

## 関連 commit
- 後続 commit で script + result + memory を push