vllm — A high-throughput and memory-efficient inference and serving engine for LLMs

概要

A high-throughput and memory-efficient inference and serving engine for LLMs

参考リンク

• GitHub ↗

リンク先のライセンス・再現性・データ条件をご確認ください。自動分類や実装の目安は保証ではありません。

実装を始めるプロンプト

参考リンクを確認したうえで、次の内容をコピーして利用できます。

# 論文・記事
vllm — A high-throughput and memory-efficient inference and serving engine for LLMs

# 概要
このリポジトリでは、私的なAIプラットフォームであるDocGPTを提供しています。

# 原典
https://github.com/vllm-project/vllm

上記の手法を実装してください。実行前に依存関係とライセンスを確認してください。