picollm — On-device LLM Inference Powered by X-Bit Quantization
デバイス上のLLM推論をXビット量化を使用したもの。
- 用途
- ラジケイタクイズナイゼーション
- 難易度の目安
- Easy
- 実装コストの目安
- High
概要
On-device LLM Inference Powered by X-Bit Quantization
参考リンク
リンク先のライセンス・再現性・データ条件をご確認ください。自動分類や実装の目安は保証ではありません。
実装を始めるプロンプト
参考リンクを確認したうえで、次の内容をコピーして利用できます。
# 論文・記事 picollm — On-device LLM Inference Powered by X-Bit Quantization # 概要 デバイス上のLLM推論をXビット量化を使用したもの。 # 原典 https://github.com/Picovoice/picollm 上記の手法を実装してください。実行前に依存関係とライセンスを確認してください。