法人向けRAG「ChatSense」、回答精度92.2%を達成し業界最高水準を更新

法人向けRAG「ChatSense」、回答精度92.2%を達成

株式会社ナレッジセンスが提供する法人向けRAG（Retrieval-Augmented Generation：追加学習AI）サービス「ChatSense」が、公開データセットを用いた評価で回答精度92.2%を達成しました。これは、既存のリーダーボード首位の86.3%を上回り、業界最高水準を更新するものです。

リリースの背景：RAGサービス比較の課題

生成AIは業務効率化やサービス品質向上のため、多くの法人で導入が進んでいます。ChatSenseも東証プライム上場企業を含む500社以上に導入されています。RAGサービスにおいて「回答精度」は重要な選定基準ですが、これまでは各社が独自の評価基準で精度を公表していたため、比較が困難でした。

ナレッジセンスは、この課題を解決するため、評価データセットと採点方式の両方に公開されている共通データを用いることで、客観的な精度計測を行いました。これにより、RAG業界全体における透明性を高め、ユーザーが安心してサービスを選定できるよう努めています。

計測結果の概要

「ChatSense」の精度計測は以下の通り実施されました。

• 全300問・3回計測の平均で92.2%を記録
  • ChatSenseがユーザーに提供しているものと同じ構成で精度を計測。
  • 日本語データセット「Allganize RAG-Evaluation-Dataset-JA」を利用。
• RAGの精度、業界最高水準を達成
  • 同一データセット・同一採点方式によるAllganize社公式リーダーボード首位（86.3%）を上回りました。
• 評価データセット・採点方式の公平性
  • 検証に用いたデータおよび採点方法は全て公開されているものを利用。
  • 「Allganize RAG-Evaluation-Dataset-JA」は、流通・小売、製造、公共、情報通信、金融の5業種から各60問を収録した日本語の公開RAG評価データセットです。
  • 採点もAllganize社が公開する自動採点方式に準拠しています。

株式会社ナレッジセンスについて

ナレッジセンスは、RAG（社内データの検索技術）の研究開発に注力しており、その成果を対外的に発信することで、国内のRAG技術エコシステムに貢献しています。

法人向けChatGPTサービス「ChatSense（チャットセンス）」の主な特徴

ChatSenseは、セキュリティを強化し、コスト優位性のある法人・自治体向けChatGPTサービスです。主な特徴は以下の通りです。

• チャット内容をAIの学習から守る機能
  • エンタープライズ、スタンダード、無料のスタータープラン全てで利用可能。
• プロンプトの社内共有機能など、豊富な独自機能
  • メンバー一括管理、フォルダ＆ドラッグ機能など、法人契約向けの機能が充実。
• 初期費用無料、最低利用期間の縛りなし
  • 導入ハードルを下げ、無料プランの利用範囲を広く提供。

参考リンク

• 元記事URL: https://prtimes.jp/main/html/rd/p/000000378.000073671.html
• ChatSense公式サイト: https://chatsense.jp/
• ナレッジセンス公式サイト: https://knowledgesense.jp/