クラウドからエッジまでのあらゆる環境で、AIの性能を限界まで引き出す方法

　AI市場が活発化する背景として、さまざまな大規模言語モデル（LLM）がオープンソースで、矢継ぎ早に登場していることが挙げられる。大規模なAI推論を実現する上で、LLMの利用は不可欠だ。オープンに公開された最新のLLMは、オープンソースならではのスピードを生かして、急速に進化している。

　一方で、LLMおよびそれを利用するAIが高性能になればそれだけ、大量の演算リソースやエネルギーが要求されてしまう。そこで近年に登場したのが、オープンソースの最新LLMに、AIに最適化したCPUを組み合わせることで、パフォーマンスを向上させるアプローチだ。

　同CPUを採用したモバイルデバイスで、最新版LLMであるLlama 3.2 3Bを実行したところ、プロンプト処理が5倍に、トークン生成でも3倍になるという成果を挙げている。エッジでのAI処理の拡大も容易になり、クラウドを往来するデータによる消費電力、そしてコストを削減できる見込みだ。本資料では、このコラボレーションがAI活用に与える効果を、さらに詳しく解説していく。