ある調査によれば、ビジネスリーダーの75%は、AI、生成AI、機械学習(ML)の活用に競争優位性があると考えている。競争に勝つためにも、開発者には最先端のAI機能を提供することが求められているが、一方で、考慮すべき幾つかの課題が押し寄せている。
そのうちの1つが、「生成AIワークロードの効率的な実行と規模の拡大」だ。一般的な大規模言語モデル(LLM)は数十億ものパラメータがあり、多大な処理リソースとメモリを必要とする。しかし昨今では、量子化などを用いて推論を最適化し、LLMを効率化する動きも盛んになり、スマートフォンやノートPC、IoTデバイスなどのエッジデバイスにも生成AIワークロードが拡大している。そのため、開発者には、規模の拡大に伴う効率化の考慮が求められている。
本資料では、「生成AIワークロードの効率的な実行と規模の拡大」を含めた4つの課題について解説する。その上で、これらの課題の解決策となり得る、演算プラットフォームを紹介する。データセンターから各種エッジデバイスまで柔軟に対応できるので、ぜひ参考にしていただきたい。