Gemmaのパフォーマンスを25％向上させた、ソフトウェアライブラリの実力

　COMPUTEX TAIPEI 2024において、Arm CPU上でAIのパフォーマンスを高める革新的なソフトウェアライブラリが発表された。これは、単なるAIに最適化されたルーティンの集合ではなく、ソフトウェアを最適化するベストプラクティスを学習するリポジトリとなることが想定されている。

　同ライブラリは、Arm CPUに最適化された性能重視のルーティンであるマイクロカーネルを集めたオープンソースライブラリだ。マイクロカーネルは、特定の演算子を高い性能で処理できるため、AIフレームワークのパフォーマンスを向上させることができる。さらにマイクロカーネルは、Armアーキテクチャ／テクノロジー／演算パラメータに対応している。そのため同ライブラリを活用すれば、フレームワーク開発者が必要としている“マイクロカーネルの統合”もスムーズにできる。

　こうした機能を活用して、GoogleのMediaPipeとXNNPACKのチームは、開発者向けのオープンな大規模言語モデルGemmaのパフォーマンスを25％も向上させたという。本資料では、同ライブラリの初期機能について詳しく解説しているので、ぜひ参考にしてほしい。