掲示板の投稿監視は、誹謗中傷など不適切なコメントとそうでないものとの切り分けが難しく、人手による対応には限界がある。ゲーム攻略サイトを運営するある企業では、1日数万件に及ぶ投稿で不適切コメントの見逃しが発生するなど、リアルタイムでの対応に課題を感じていた。
同社は解決策として、大手クラウドベンダーが提供する生成AIの基盤モデル活用サービスを採用し、リアルタイムの投稿監視システム構築に着手した。その効果としては、まずユーザー間トラブルに発展しかねないコメントを未然に防ぐことができ、リスクマネジメントが高度化。さらに、自動非表示できる件数が増えたことで、手動対応による見逃しや判断が難しいコメントへの対応が強化され、監視業務の負荷軽減にもつながったという。
LLMを使った監視自動化において、不適切なコメントの評価の信頼性を高める上で重要となったのがSelf-Consistencyの導入だった。本資料では、同社の取り組みを詳しく紹介する。システムアーキテクチャの内容、Self-Consistencyの導入効果などが記されているので、参考にしてほしい。