How do I interact with the SDK as a developer?

Roofline's SDK is accessible through a simple Python interface. Importing models and selecting the target hardware is literally a line of code.

Do you support quantization?

Yes, we support all relevant quantization techniques, such as INT8, blocked, symmetric, asymmetric, and dynamic quantization. Please note, we do not quantize models ourselves. We focus on the deployment infrastructure required to support a broad range of quantization methods from different quantizers.

How do you deal with dynamic shapes?

Effective handling of dynamic shapes is a key strength of our SDK. We combine a set of techniques, e.g., input padding and constrained input shapes, to provide a high-performing and flexible LLM pipeline.

SDK

Rooflineの次世代AIコンパイラを基盤とする、エッジAI向けで最も柔軟かつ適応性の高いソフトウェア開発キット（SDK）。最先端アプリケーション向けにSoCの全性能を解放します。

お問い合わせ

動作中

当社のSDKの実演をご覧いただき、エッジ環境においてモデルを様々なターゲットデバイスに迅速に展開できる体験をぜひお試しください。

主な機能

事前コンパイル

リソース制約のあるエッジデバイス向けの最も効率的なコンパイル。

LLMパイプライン

LLM実装の完全サポート（トークナイザーおよびその他の関連統合を含む）。

量子化サポート

関連する全ての量子化方式を完全にサポートし、継続的に拡張されています。

異種システム

デバイス間でモデルを分散させることで、SoCの全機能を実現する。

仕組み

シンプルなPythonインターフェースとわずか数行のコードでモデルをコンパイルし、ターゲットデバイス間をシームレスに切り替えられます。当社のプラグアンドプレイSDKは既存のワークフローに容易に統合され、複雑なオーバーヘッドなしに強力なコンパイル機能を提供します。

ドキュメントを表示

import torch, attic, AutoModelForImageClassification
‍
model = AutoModelForImageClassification.
from_pretrained("apple/mobilevit-xx-small")
random_input = torch.rand(1, 3, 256, 256, dtype=torch.float32)
‍model.eval()
compiled_model = attic.compile(
model,
(random_input,),
)

よくある質問

開発者としてSDKとどのように連携すればよいですか？

RooflineのSDKはシンプルなPythonインターフェースを通じて利用可能です。モデルのインポートとターゲットハードウェアの選択は、文字通り1行のコードで実現できます。

量子化をサポートしていますか？

はい、INT8、ブロック量子化、対称量子化、非対称量子化、動的量子化など、関連するすべての量子化技術をサポートしています。ただし、当社ではモデル自体を量子化することはありません。当社は、様々な量子化ツールによる多様な量子化手法をサポートするために必要なデプロイメント基盤に注力しています。

動的な形状にはどのように対処しますか？

動的形状の効果的な処理は、当社のSDKの主要な強みです。入力パディングや制約付き入力形状といった一連の技術を組み合わせることで、高性能かつ柔軟なLLMパイプラインを実現しています。

RooflineのSDKにアクセスするにはどうすればよいですか？

お問い合わせフォームよりご連絡ください。すぐに折り返しご連絡いたします。