NXP® Semiconductorsとの協業により、Rooflineの拡張性の高いMLIRおよびIREEコンパイラインフラストラクチャを基盤として、当社のヘテロジニアス実行スタックをNPUへと拡張しました。本ケーススタディでは、i.MX 95アプリケーションプロセッサ上のNXP製eIQ® Neutron NPUにおけるLLM対応を起点として、このソフトウェアソリューションがもたらす3つの主な利点、すなわち1) 幅広いモデルの対応、2) 2GBを超えるモデルにおけるアクセラレータのメモリ制限の克服、3) CPUのみでの実行と比較して最大3.2倍のLLMプリフィル性能向上を実現したことを紹介します。

This case study shows how Roofline achieves up to 23× higher throughput by solving one of the most fundamental bottlenecks in efficient on-device language model inference: dynamic shapes in the prefill stage.

このケーススタディでは、Rooflineが最新のエッジ向けシステムオンチップ（SoC）において、非同期かつ異種混在の実行をどのように実現したかを紹介します。当社の技術は、SoC内のCPU、GPU、NPUといったハードウェアを連携させ、AIモデル全体を効率的に実行します。これにより、エッジにおけるAI展開ソフトウェアにおいて長年欠けていた重要な要素を補完し、利用可能な最適なデバイス上で、より大規模なモデルを効率的に実行することを可能にします。

This case study showcases how Roofline and ARM enabled scalable, vector-length-agnostic ML execution on Arm CPUs by implementing data-tiled Scalable Vector Extension (SVE) support end-to-end in IREE, unlocking up to 100× speedups on real models and hardware.