生成AIの登場によって、LLM(大規模言語モデル)が注目されている。LLMに質問すればさまざまなことに答えてくれるので非常に便利だが、答えられない場合もある。それが、LLMが知らないことに関する質問だ。
例えば、社外秘となっている社内情報に関する質問や、LLMの学習情報よりも新しい情報に関する質問を投げると、LLMは「知らない」と答えるか、知ったかぶりをしてうそをつく(ハルシネーション)可能性が高い。この問題を解決するために登場したのが、「RAG(Retrieval Augmented Generation)」だ。外部データベースなどから関連情報を取得できるようになるため、自社固有のLLMアプリケーションを構築する場合などに大いに役立つ。
そこで本資料では、簡易的なRAGアプリケーションの作成方法について解説する。ポイントの1つは、超大規模までカバーできるドキュメント型DBを活用することだ。一般的なRDBとは異なり、検索用に転置インデックスを保持しているため、検索スピードが圧倒的に速い他、日本語検索精度も高いという特徴も備える。この方法なら、より手軽にRAG作成に挑戦できそうだ。