教育系のデータ基盤を所有しているクライアント様に検索精度と回答の一貫性を高めるRAG（Retrieval-Augmented Generation）ベースのQAシステムを導入するプロジェクトを支援しました。
ご支援内容
RAGの精度を左右する一番重要なポイントとなるアーキテクチャ設計から品質検証まで全てを実施しました。
- アーキテクチャ設計：セマンティック検索とキーワード検索のハイブリッド検索を行い、リランクするフローを設計。
- 出力仕様・ドキュメント整備：API設計書、パラメータ説明、出力ファイル仕様、Swagger→HTML変換ドキュメント、ガイド類の作成。
- UI/UX実装支援：ランニングコストを見越してRAG検索精度と消費トークン量を最適化する実装。
- 品質検証・評価支援：RAG層の精度検証レポート作成、top_k等のパラメータ調整に基づく評価、検査用テスト設計と実行。
- プロジェクト管理：進捗管理、ステークホルダー調整、外部公開時のコスト検討とリスクアセスメント。
導入の成果
実際に利用していただいたクライアント様からも実感として精度は問題ないとのフィードバックをいただいております。
- 精度評価：平均スコア86.2点、最高100点、最低20点。
- 出力柔軟性：レスポンス形式を極力トークン消費量を抑えるよう工夫。もちろん精度は落とさないように。
- 運用上の工夫：不適切な利用を防ぐガードレールを整備。
今後の展開
- Agentic RAGの検討：複数AIエージェントを組み合わせるAgentic構成による検索精度・自律性向上の構想を推進。前段のブレッシュアップと組合せた実験を計画。
- Human-in-the-loop運用：AIの判断に対するヒューマンレビュー導線を整備し、説明性と信頼性を高める運用設計を実装予定。
- 継続的評価・改善：top_k等パラメータや出力形式のA/Bテストを継続実施し、運用データに基づく精度向上を図る。
