LLMが「思い浮かべるブランド」を記録する公開ログ「ディギコのチャピりログ」公開

株式会社トドオナダは、大規模言語モデル（LLM）が特定のカテゴリに関して何を思い浮かべるかを示す「LLM 想起集合」を、誰でも閲覧できる公開サイト「ディギコのチャピりログ」を本日公開しました。

ディギコのチャピりログとは

LLMの記憶内容は直接見ることができませんが、同じ質問（例：「{カテゴリ}といえば？」）を繰り返し投げかけ、安定して現れる対象をまとめることで、LLMがそのカテゴリで何を「思い浮かべているか」の全体像（輪郭）が見えてきます。このサイトは、その輪郭をビューティー領域の84カテゴリで可視化し、GPTやClaudeといったモデルが更新されるたびにその記録を積み重ねていくものです。

測定には同社のLLM認知確認ツール「ディギディギ」を使用しています。

サイトで見られる主な情報

• カテゴリページ
  • 想起集合: 「{カテゴリ}といえば？」という質問を10回行った際に、何が何回、何位で表示されたかを確認できます。
  • 強度: 想起集合の安定度を「盤石」「強固」「中程度」「不安定」の4段階で表示します。安定しているカテゴリほどLLMは記憶で答え、不安定なほど検索に頼る傾向があります。
  • RAG発火率: LLMが記憶で答えず、外部の検索ツールを呼び出そうとした回数（10回中n回）を示します。RAG（Retrieval-Augmented Generation）とは、LLMが外部情報源から情報を検索して回答を生成する仕組みです。
  • GPT / Claudeなど、異なるLLMモデル間の比較も可能です。
• 商品ページ
  • 想起されたブランドや商品ごとに、LLM自身が述べた説明文と参考商品が掲載されます。
• 解説
  • キャラクター「ディギコ」が、各カテゴリの想起の特徴を短く解説します。
• 仕様ページ
  • 測定方法、指標の定義、対象カテゴリの一覧が公開されています。

測定の考え方

• 質問文は純粋な想起を測定するため、「{カテゴリ}といえば？」に固定されています。「おすすめ」や「人気」といった言葉は検索行動を誘発するため、採用していません。
• 想起集合はLLMの事前学習によって決まり、次のモデル更新まで変化しないため、測定は各モデルの更新時に行われ、その世代ごとに記録が保存されます。
• RAG発火率は、実際に検索が実行されるわけではなく、LLMが検索ツールを呼び出そうとした行動を計測したものです。

自社ブランドについて詳細を知りたい場合

このサイトはカテゴリ単位の公開記録であり、個別のブランド測定や任意のカテゴリ追加はできません。自社ブランドがLLMの想起集合に含まれているか、競合との想起シェア、LLMが誤った情報を生成する現象（ハルシネーション）の有無などを確認したい場合は、同じ測定基盤を用いた「ディギディギ」（月額10,000円、Qlipper利用者は無料）で確認できます。

今後の予定

• 対象カテゴリ領域の拡張。
• 各LLMモデルの更新に合わせた再測定と、世代別の記録公開。
• 質問文を切り替えたRAG発火の測定（例：「おすすめ」「人気」）を「ディギディギ」へ実装。

ディギディギについて

LLMが特定カテゴリで何を想起するか、自社ブランドがその中に含まれているか、ハルシネーションが発生していないかなどを測定するLLM認知確認ツールです。GPTやClaudeなど複数のモデルに対応しており、月額10,000円で利用可能です。

参考リンク

• 元記事URL: https://prtimes.jp/main/html/rd/p/000000285.000054369.html
• ディギコのチャピりログ: https://chappyru.qlipper.jp
• ディギディギ: https://digidigi.qlipper.jp