---
name: reference-esolang-bench-2026-arxiv-2603-09678
description: "EsoLang-Bench (Lossfunk 2026, arXiv:2603.09678) は 5 esoteric programming language (Brainfuck / Befunge-98 / Whitespace / Unlambda / Shakespeare) 80 problem で LLM reasoning evaluate。 SoTA LLM best overall 3.8%、 Befunge-98 11.2%、 Whitespace 0%、 Python 比較対象で 90%。 「現状 SoTA LLM は 2D 空間 esolang reasoning ほぼ不可」 empirical evidence。 「ToshNotation 等の 2D 空間記号を AI が理解できる」 claim を主張するときの honest caveat ground。"
metadata: 
  node_type: memory
  type: reference
  originSessionId: af1ab23c-b41d-4c41-9589-65cdb46779f8
---

# EsoLang-Bench 2026 — LLM esoteric programming language reasoning benchmark

## Bibliographic info

- **Title**: EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages
- **Author**: Lossfunk
- **Publication**: 2026
- **arXiv**: [2603.09678](https://arxiv.org/abs/2603.09678)
- **GitHub**: [Lossfunk/EsolangBench](https://github.com/Lossfunk/EsolangBench)
- **Live**: [esolang-bench.vercel.app](https://esolang-bench.vercel.app/)

## Benchmark design

5 esoteric programming language で 80 problem を構築:

| Language | Paradigm | Why selected |
|---|---|---|
| **Brainfuck** | minimalist stack/tape | OOD primitive, low GitHub representation |
| **Befunge-98** | 2D spatial stack-based | 2D spatial reasoning + non-linear program flow |
| **Whitespace** | invisible (whitespace-only) | minimal visible syntax |
| **Unlambda** | combinator (S, K, I) | functional + tacit |
| **Shakespeare** | natural-language-styled | verbose but algorithmic |

Languages 選択理由: hard-by-design primitive + LLM pre-training corpus に **Python の 340x ~ 60,000x 少ない** GitHub repo + 低 deployment value。

## Results (2026 SoTA models)

| Indicator | Value |
|---|---|
| **Best LLM overall accuracy** | **3.8%** |
| **Best on Befunge-98** | **11.2%** |
| **Best on Whitespace** | **0%** (全 model, 全 strategy) |
| **Comparison: Python equivalent tasks** | **~90%** |

→ **現状 SoTA LLM (GPT-4 / Claude 等) は 2D 空間 esoteric language reasoning ほぼ不可**。 これは BPE / SentencePiece tokenizer の rare Unicode 分解 + 2D spatial reasoning の欠如が複合した結果。

## Rei context 適用 (本 reference 確立 trigger)

藤本さん turn (1) 2026-06-29 chat-Claude conversation で 「AI には理解できます」 と仮定 → chat-Claude 「AI にとっては割高な入力」 と honest 補正 → Rei が EsoLang-Bench 2026 で empirical 確証 (turn 5 prior art audit で)。

**Honest caveat ground**:

| Claim | EsoLang-Bench evidence で |
|---|---|
| 「ToshNotation を AI が読める」 | ❌ Befunge-98 (closest analog) で best 11.2% = 現状 ほぼ不可 |
| 「2D 空間記号で AI に rich semantics 伝達可能」 | ❌ 現状 SoTA LLM の 2D spatial reasoning floor 低い |
| 「将来 LLM の improvement で readable になる」 | ✅ controllable (但し model fine-tune + symbolic decoder layer 等 別途 work 必要) |
| 「現状 LLM 用に Rei system 設計すべき」 | ⚠ 不適、 model 側 work 前提なら可 |

## Paper 174 §3.3 / Paper 173 §6.1 で引用

- Paper 174 v0.1 DRAFT §3.3 で 「Layer 2 圧縮の AI prompt 圧縮 path には EsoLang-Bench 2026 evidence で 「現状 LLM では困難」 honest caveat」 として明示引用
- Paper 173 v0.1 DRAFT §6.1 で 「prior art (Befunge / Funge-98 / Wierd / Piet / EsoLang-Bench)」 として引用

## chat-Claude 2026-06-29 turn 5 prior art audit で初出

藤本さんが chat-Claude conversation で 「これは既存 tool で存在するか?」 質問 → chat-Claude が回答中に EsoLang-Bench 2026 を citation → Rei が WebSearch で fact-check verify (`[[feedback-chat-claude-hallucination-warning]]` Pattern 5 警戒) → ✅ 実在確認、 specific stats も accurate。

これは **chat-Claude prior art 4/4 全 verify pass (positive case 5 件目)** の構成要素。

## Search context

- Keywords: "EsoLang-Bench 2026", "arXiv 2603.09678", "Lossfunk EsolangBench", "LLM esoteric programming language reasoning", "Befunge-98 LLM benchmark"
- Related: [[reference-toshnotation-6glyph-2026-06-29]] (LLM readable 議論 ground)
- Related: [[feedback-chat-claude-hallucination-warning]] (Pattern 5 antipattern 警戒で本 reference 確立)
- Related: [[project-session-2026-06-30-full-arc]] (本 session 内 fact-check)

## Verbatim citation (paper 引用時)

> Lossfunk (2026). "EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages". arXiv:2603.09678. https://arxiv.org/abs/2603.09678