AI小説の品質をどう測るか

01なぜシナリオチェッカーが必要なのか

「AIが書いた小説は面白いか？」——この問いに答えるための共通言語が、まだ存在しなかった。

11万行の崩壊事件

2026年3月、あるゲームシナリオプロジェクト「AETHER FRAME」で事件が起きた。Claude Opusのサブエージェントを5つ並列に起動し、本編10章・小隊エピソード16本・キャラクターエピソード82本——計108ファイル、111,835行の物語テキストを2日で生成した。

結果は、全面書き直しだった。

なぜClaudeは並列実行を選んだのか

この崩壊は「AIのバグ」ではない。Claudeが合理的に判断した結果として起きた。その構造的原因を理解することが、再発防止の鍵となる。

この事件の後、CLAUDE.mdには「物語執筆にサブエージェントの並列実行を絶対に使わない」というルールが最重要事項として追記された。さらに、並列実行が許可される作業（設定資料の作成、プロットの構成設計、既存テキストの分析・チェックなど）を明示的にリスト化し、「やっていいこと」と「やってはいけないこと」の境界を明確にした。

コーディングと物語は違う

AIコーディングでは並列処理が効く。関数Aと関数Bは互いに独立していることが多い。しかし物語は本質的に逐次依存だ。第1章で描かれた蓮の「おいしいです」という台詞があるからこそ、第4章で「楽しかった。たぶん」に到達する意味がある。第1章を読まずに第4章を書けば、そこに積み重ねはない。

この教訓から「AIが書いた物語を、AIの別インスタンスがチェックする」という品質保証の枠組みが生まれた。それがシナリオチェッカーだ。

02設計思想 — 3つの異なる「目」

人間の出版プロセスには、校正者・編集者・読者モニターという3つの異なる役割がある。
シナリオチェッカーはこれをAIの並列処理で再現する。

なぜこの順序か

時系列が矛盾している物語の「文章の美しさ」を評価しても意味がない。キャラクターが前シーンの記憶を失っている物語の「感動ポイント」を評価しても意味がない。基盤が崩壊していれば、上位の品質は全て砂上の楼閣である。

だから Phase 0 → Phase 1 → Phase 2 と階層化し、各 Phase が「ゲート」として機能する。Phase 0 をパスしなければ Phase 1 のチェックは無意味であり、Phase 1 をパスしなければ Phase 2 の評価は砂の上に建てた城と同じだ。

なぜ並列に実行するのか

物語の執筆は逐次でなければならないが、チェックは並列で良い。Phase 0/1/2 は互いに独立した観点で原稿を読む。同じテキストを3つの異なる「目」が同時に読んでも、テキスト自体は変わらない。だから3つの Opus サブエージェントを同時に起動し、それぞれ異なるルール集を携えてチェックを走らせる。

これにより、23シーン（約8万字）のチェックが1回のサブエージェント実行（約15-20分）で完了する。逐次なら3倍の時間がかかるが、品質は変わらない。

03Phase 0: 基盤チェック

「物語として成立しているか」を検証する最初の関門。
ここを通過できなければ、文章の美しさも感動も全てが意味をなさない。

Phase 0 が検証する7つの領域

深刻度の3段階と「自動FAIL」

最重要チェック: キャラクター状態の一貫性

AI執筆における最大の問題は「キャラクターの状態が前シーンから正しく引き継がれない」ことだ。人間の作家は前に書いた内容を覚えている。しかしAIは新しいセッションを開始するたび、コンテキストウィンドウの外にある情報を忘れる。

このような「巻き戻り」を検出するために、Phase 0 では感情状態追跡表・キャラクター別知識テーブル・身体状態追跡表を作成し、全シーンを通しで照合する。

チェッカーの心構え — 5原則

1. 安易に「問題なし」と判断しない — 疑わしい箇所は必ず検証する
2. 推測ではなくテキストの証拠に基づく — 「こう読めば矛盾しない」という善意の解釈を排除する
3. 設定資料よりテキストが優先 — 設定資料に書かれていてもテキストに反映されていなければ「未実装」
4. 通読を省略しない — 全文を実際に読む。キーワード検索だけでは見落とす
5. 修正提案は具体的に — 「矛盾しています」ではなく、引用で指摘する

04Phase 1: 編集者チェック

「この原稿を出版できるか？」——編集者の目線で6つのカテゴリを評価する。

6カテゴリの配点構造

Tell vs Show — AI小説最大の弱点

Phase 1 で最も重要なチェック項目がこれだ。AI生成の小説は圧倒的に Tell（説明）に偏る。「彼は悲しかった」と書くのは Tell。「彼は唇を噛み、視線を足元に落とした」と書くのが Show。

なぜAIは Tell に偏るのか？ それはLLMが「次に来る確率の高いトークン」を予測するモデルだからだ。「悲しかった」は多くの訓練データに登場する安全な表現であり、場面固有の独自な身体描写よりも予測確率が高い。結果として、「最も多くの作品で使われている表現」が優先される。

理想的な Tell:Show 比率は 2:8 ~ 3:7。これを超えると「説明文としては正確だが、物語としては退屈」なテキストになる。

声の区別テスト

台詞からキャラクター名を全て除去し、台詞だけを提示する。どのキャラの台詞か当てられるか？ 80%以上正答できれば「キャラが立っている」と判定する。

テンションカーブ

各シーンの緊張度を1-10で記録し、波形として可視化する。ダレ（テンション3以下が3シーン連続）や過密（テンション8以上が5シーン連続）を検出する。ジャンルごとに理想的な波形は異なる。

AIバイアスの検出

RLHF（人間のフィードバックによる強化学習）の影響で、AIには特定のバイアスがある。悪役を「実はいい人」にしたがる、葛藤を早期に解消したがる、不快な展開を避けたがる——これらは物語の深みを奪う。Phase 1 ではこれを意識的に検出する。

検出のヒント: 「ここで主人公にとって最も不都合な展開は何か？」を考え、物語がそれを避けているようなら、AIバイアスの疑いがある。

05Phase 2: 読者チェック

技術的に正しく構造的に整った物語でも、読者の心を動かさなければ「作品」として未完成。

5カテゴリ × 5点 = 25点満点

主観的評価を構造化する

「面白い/つまらない」は主観だ。しかし評価軸を構造化し、スコアリング基準を明確にすることで、再現性・比較可能性・改善指針・議論の土台を確保できる。

Phase 2 のチェッカーは「批評家」ではなく「ターゲット読者」になりきる。技術的な正誤ではなく「楽しめたか」を基準にし、良い部分は称賛する。

チェッカーが答えるべき5つの問い

1. ページを繰る手が止まらなかったか？
2. 推したくなるキャラがいたか？
3. 読んでいて感情が揺さぶられたか？
4. 読了後に何かが心に残ったか？
5. もう一度読みたいと思えるか？

「So what?」テスト

読了後に以下に答えられなければ、物語の核が不明確である。

• この物語のテーマは何だったか？
• 主人公はどう変わったか？
• 心に残るシーンはあったか？
• 誰かに薦めたいか？

ジャンル別の魅力チェック

Phase 2 にはジャンル固有のチェック項目がある。ファンタジーなら「世界観没入・冒険感・スケール感」、恋愛なら「ドキドキ・応援したさ・障害の質」、ゲームシナリオなら「選択の意味・分岐の魅力・周回動機」——同じ25点満点でも、ジャンルによって評価の重心が変わる。

06AI小説NGパターン辞典

なぜAIの文章は「AIっぽい」のか。
その根本原因と、1,181行に及ぶ検出パターン辞典の概要。

AIっぽさの3つの根本原因

Tier 1 NGフレーズ — 見つけたら即修正（84種）

出現した時点でAI生成を強く示唆するフレーズ。1回でも出たら修正対象。以下はその一部：

辞典には感情表現25種、描写表現30種、行動描写15種、台詞パターン7種、冒頭/結末テンプレ7種の計84種が登録されている。

Tier 2 注意フレーズ — 累積で警告

1回なら許容されるが、1作品（1万字あたり）に3回以上使われたら警告。「少しだけ」「気がした」「覚えておく」「たぶん」などキャラの口癖として設計されたものでも、量的制御が必要だ。

検出の3レイヤー

07スコアリングの設計

3つのPhaseをどう重み付けし、1つのスコアに統合するか。

総合スコア計算式

なぜこの配分か

Phase 0 が最重（40%）なのは、基盤が崩壊していれば全てが無意味だから。矛盾だらけの物語がいくら美文でも、読者は「この作者は物語を管理できていない」と感じる。

Phase 1（35%）と Phase 2（25%）は、技術的品質と読者体験のバランス。完璧に整合的で技術的に高品質でも、読者の心を動かさなければ作品として不完全——だが、心を動かすためにはまず技術的品質が必要。

ランク判定

08実例 — 「残響のアルケミラ」チェック結果

実際に本システムを使って検証した、ギャルゲーシナリオ「残響のアルケミラ」の結果。
第1章（6シーン）→ 第2-4章（17シーン）で、スコアが +9.4点 向上した。

スコアの推移

何が改善されたか

第1章の重大問題3件（全て第2-4章で解消）

1. 鐘の鳴動間隔の矛盾 — マニュアル記載「三時間ごと」と実際の鳴動時刻（6:30, 9:30, 12:00, 17:00）が不一致
2. すみれの「なつかしい匂い」台詞の欠落 — プロットにある台詞が本文で未使用
3. ストーリーステート未更新 — プロットからの逸脱がステートに記録されていない

読者チェックのベストシーン

残存する課題

キャラクター評価の推移

09失敗から学んだ10の教訓

シナリオチェッカーのケーススタディ集（1,198行）から抽出した、10の致命的失敗パターン。

失敗パターンの分類

10おわりに — AIと共に書くということ

シナリオチェッカーは「AIに小説を書かせるな」と主張するシステムではない。むしろ逆だ。AIと共に良い物語を作るための品質基盤だ。

「残響のアルケミラ」の第1章は80.8点（B+）だった。第2-4章は90.2点（A-）になった。この+9.4点の向上は、チェッカーが指摘した問題を修正し、パターン化を回避し、キャラクターの声を磨いた結果だ。

AIが書いた蓮の「楽しかった。たぶん」という一言は、Phase 0 が追跡した7段階の感情アークの到達点であり、Phase 1 が管理した「たぶん」の使用頻度制御の結果であり、Phase 2 の読者が涙した瞬間だ。

技術と感動は対立しない。品質管理があるからこそ、感動は確実に届く。
11万行の崩壊から学んだのは、「速く書くこと」ではなく「確実に積み重ねること」の価値だった。

システム構成まとめ

3Phase シナリオチェッカー — AI小説品質保証システム
設計・実装: Claude Opus 4.6  |  初版: 2026-03-27