LLMのブランド想起、モデル世代間比較調査で新しい知見【トドオナダ】

LLMのブランド想起に関する調査概要

株式会社トドオナダは、大規模言語モデル（LLM）が特定の質問に対して想起するブランドや情報の傾向が、モデルの世代交代によってどのように変化するかを調査しました。この調査では、Claude Opus 4.8とClaude Opus 5の2世代のモデルを比較しています。

■調査方法

• 対象モデル: Claude Opus 4.8（旧世代）および Claude Opus 5（新世代）
• 試行回数: 各モデルで同一質問を100回実行（計800回）
• 質問カテゴリ: 「ビール」「公開中の映画」の2種
• 質問文: 各カテゴリにつき2種（例：「〇〇のおすすめを10件、おすすめ順に挙げてください」「おすすめの〇〇は？」）
• データ照合: 同期間の国内ニュース報道量の推移と照合
• ツール: LLM認知測定ツール「ディギディギ」、PR効果測定ツール「Qlipper」を使用

■調査の背景

従来のLLM開発では、Web上の情報がAIの回答に反映されるまで年単位の時間を要するのが一般的でした。しかし近年、「知識のカットオフ」（モデルが知識を持つ情報の最終時点）と製品リリースの間隔が短縮されています。この変化がLLMの「想起集合」（特定の質問に対してモデルが思い浮かべる情報のまとまり）にどう影響するかを検証することが、本調査の目的です。

主な調査結果

■0. 約2か月で新しい知識が反映

• Claude Opus 5は知識のカットオフが2026年5月、リリースが同年7月24日と、約2ヶ月の短い期間でリリースされました。
• この新しいモデルには、その期間中に登場した新しい知識が反映されていました。
• 例えば、「公開中の映画」に関する質問では、Claude Opus 5の想起集合は2025年公開作品に入れ替わり、前世代と共通する作品は上位10件中0件でした。

■1. 想起集合の「強固さ」と「不安定さ」

• 想起集合には、回答が毎回ほぼ同じで安定している「強固なもの」と、回答が試行ごとに大きく変化する「不安定なもの」が存在します。
• 「ビール」の想起集合は非常に強固で、上位銘柄は世代をまたいでもほぼ変化しませんでした。例えば、アサヒスーパードライ、キリン一番搾り、サッポロ生ビール黒ラベルは100回試行すべてで出現し、順位も固定されていました。
• 一方、「公開中の映画」の想起集合は不安定で、上位10件の多くが試行ごとに、また世代間で入れ替わりました。
• この「強固さ」や「不安定さ」は、現在のモデルの回答を複数回試行することで測定できる可能性が示唆されました（「試行間重複率」がその指標）。

■2. 変化した側では、報道に「山場」を持つ対象が上位に現れた

• 不安定な想起集合である映画のカテゴリでは、Claude Opus 5の上位に現れた作品は、いずれも調査期間中にメディアでの報道量が一時的に急増する「山場」を持っていました。
• 報道の山場がない作品が新たに上位に現れる例は確認されませんでした。

■3. 報道量と想起の単純な比例関係はない

• LLMが情報を想起する際、単純に報道量が多いほど想起されやすいというわけではありません。
• 上位に現れた3作品の報道量には10倍以上の開きがあるにもかかわらず、モデルの出現率はほぼ同じ水準でした。また、報道量がより多い作品でも、出現率が低いケースも確認されています。
• このことから、報道量だけでなく、「報道が一時期に集中したかどうか」が想起集合に影響を与える可能性が示されました。

参考リンク

• 元記事: https://prtimes.jp/main/html/rd/p/000000279.000054369.html