【アイデア】SF文学における Sense of Wonder の計算言語学的検出 — 破滅派コーパスを用いた実験提案

[fumikito]

背景

LLMの評価指標である perplexity（モデルの「驚き度」） と、SF文学で長く議論されてきた Sense of Wonder の概念に、計算可能な相関があるかを検証したい。

破滅派は400名超の作家、3000作品以上のコーパスを保有しており、SFとliterary fictionが混在する稀有な環境にある。このリソースを活かして、日本語SFにおけるsense of wonder検出の最初のデータセットとベースラインを作れないか。

仮説

素朴な仮説（おそらく成立しない）

Perplexityが高い文章 = 読者が驚く = Sense of Wonder

素朴な仮説の問題点

• ランダムな単語列はPPLが高いが、wondernessはない
• 「ハイパードライブが起動した」のような使い古された表現はPPLが低いが、wondernessは生じうる
• Wondernessは文字列の予測困難さではなく、指示対象（referent）の概念的新規性に宿る

クラークのモノリスやアシモフの心理歴史学に感じるwonderは、文の連なりが予測困難だからではなく、提示される概念が読者の世界モデルを更新するから。

精緻な仮説

Wondernessと相関するのは以下の 二重構造 ではないか：

1. 局所的にはPPLが低い（破綻なく流暢に書かれている）
2. 意味空間での予測からは外れる（埋め込み空間での飛躍）
3. コンセプトレベルでのsurprisalが高い

つまり「文としては自然だが、述べている内容がモデルの世界モデルから飛躍している」という構造。

実装スケッチ

def measure_wonderness(sentence, context):
    return {
        # 表層の流暢さ（低いほど自然）
        "surface_ppl": compute_perplexity(sentence),
        
        # 文脈からの意味的飛躍距離
        "semantic_surprisal": embedding_distance(
            predict_next_embedding(context),
            embed(sentence)
        ),
        
        # 概念レベルでの予測との乖離
        "concept_divergence": kl_divergence(
            llm_predict_topic(context),
            extract_topic(sentence)
        ),
        
        # SF概念辞書とのマッチ密度
        "sf_concept_density": match_sf_ontology(sentence),
    }

特に concept_divergence（LLMに次文の要旨を予測させ、実際の文の要旨とのKL divergenceを取る）が肝。表層PPLでは捉えられない「意味の飛躍」を検出する設計。

必要なリソース

• 破滅派の作品コーパス（既に保有）
• アノテーションデータ（編集者/読者による「ここでwonderを感じた」注釈）
• 日本語対応の言語モデル（Llama-3-Swallow, ELYZA, など）
• 埋め込みモデル（multilingual-e5, ruri など）

なぜ破滅派でやるか

• 日本語SFでsense of wonderにアノテーションされたデータセットは現状存在しないはず
• SFとliteraryの混在環境なので、文体的特徴の対比サンプルが取りやすい
• プラットフォーム運営者だからこそ作家・読者へのアノテーション依頼が可能

期待される成果

• 日本語SF sense of wonder検出データセット（公開可能なら学術コミュニティへの貢献）
• 文体分析手法の論文化（言語処理学会、SIG-NL、人文情報学など）
• Capital Pでの解説記事（一般向け）
• 破滅派の編集ツールへの応用（推薦・タグ付け）

段階的な進め方

1. パイロット：自分の作品 or 公開済み代表作で素朴なPPL測定を試す
2. アノテーションプロトコル設計：「wonderを感じた箇所」をどう定義・収集するか
3. 小規模アノテーション：50作品程度で評価データを作る
4. 各種指標の有効性検証：surface PPL vs concept divergence の比較
5. データセット公開とベースライン論文

TODO

• パイロット用のtokenizer/モデル選定（日本語）
• アノテーションUIの検討（破滅派側に組み込めるか）
• 関連研究調査（narrative surprise, literary novelty detection）
• 作家・作品の利用許諾整理
• 「wonder」の操作的定義をどう作るか議論

関連しそうな先行研究

• Reagan et al. (2016) "The emotional arcs of stories are dominated by six basic shapes"
• Narrative surprise / suspense の計算モデル
• Literary novelty detection（Underwoodなど）
• 心理言語学におけるreading time × surprisal の研究

メモ

• 「Sense of Wonder」の語源・定義そのものの整理から始める必要がある（モスコウィッツ起源とされるが議論あり）
• 翻訳SFと日本オリジナルSFでwonderの発生パターンが違う可能性
• ジェンダーSF、社会派SFなど、wonderが「概念ではなく構造」から生じる作品をどう扱うか