概要
exoは、異なるデバイスをまとめて1つのパワフルなGPUにするAIクラスタープラットフォームです。
exoは、exo labsによってメンテナンスされたオープンソースのAIクラスタープラットフォームです。exoは、異なるデバイスをまとめて1つのパワフルなGPUにすることができます。
特徴
exoは、LLaMA、Mistral、LlaVA、Qwen、Deepseekなどの異なるモデルをサポートしています。また、ダイナミック・モデル・パーティション、自動デバイス・ディスカバリー、ChatGPT互換APIなど、多くの機能を提供しています。
使用
exoのインストールは、ソースから行うことをお勧めします。インストールには、Python 3.12.0以上、Linux、NVIDIAドライバー、CUDA、cuDNNが必要です。
価格
exoは、オープンソースのプロジェクトであり、無料で使用できます。