模型#

Model list#

您可以在 Xinference 中列出所有可啟動的、某種類型的模型。

xinference registrations --model-type <MODEL_TYPE> \
                         [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

curl http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/model_registrations/<MODEL_TYPE>

from xinference.client import Client
client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
print(client.list_model_registrations(model_type='<MODEL_TYPE>'))

Xinference 支援以下 MODEL_TYPE：

LLM

文本生成模型或大型語言模型

大語言模型

embedding

文本嵌入模型

嵌入模型

image

圖像生成或處理模型

图像模型

audio

audio model

音訊模型

rerank

重排序模型

video

影片模型

灵活模型

靈活模型（傳統機器學習模型）

傳統機器學習模型（實驗性質）

你可以在這裡查看 Xinference 支援的所有內建模型。如果你需要的模型不可用，Xinference 還允許你註冊自己的自訂模型。

啟動和停止模型#

每個執行的模型實例將被分配一個唯一的模型 uid。預設情況下，模型 uid 等於模型名稱。這個 ID 是後續使用模型實例的句柄，啟動指令 --model-uid 選項可以手動指定它。

你可以透過命令列或者 Xinference 的 Python 客戶端來啟動一個模型。

xinference launch --model-name <MODEL_NAME> \
                  [--model-engine <MODEL_ENGINE>] \
                  [--model-type <MODEL_TYPE>] \
                  [--model-uid <MODEL_UID>] \
                  [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"] \

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
model_uid = client.launch_model(
  model_name="<MODEL_NAME>",
  model_engine="<MODEL_ENGINE>",
  model_type="<MODEL_TYPE>"
  model_uid="<MODEL_UID>"
)
print(model_uid)

對於模型類型 LLM，啟動模型不僅需要指定模型名稱，還需要參數的大小、模型格式以及模型引擎。請參考大語言模型文件。

以下命令可以列出 Xinference 中正在運行的模型：

xinference list [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

curl http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/models

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
print(client.list_models())

當你不再需要當前正在運行的模型時，以下列方式釋放其佔用的資源：

xinference terminate --model-uid "<MODEL_UID>" [--endpoint "http://<XINFERENCE_HOST>:<XINFERENCE_PORT>"]

curl -X DELETE http://<XINFERENCE_HOST>:<XINFERENCE_PORT>/v1/models/<MODEL_UID>

from xinference.client import Client

client = Client("http://<XINFERENCE_HOST>:<XINFERENCE_PORT>")
client.terminate_model(model_uid="<MODEL_UID>")

備註

對於不再維護且依賴舊版庫（如 transformers ）的模型，建議啟用模型虛擬空間功能，以確保它們能在相容的環境中正常運作。

模型使用#

聊天 & 生成

學習如何在 Xinference 中與 LLM 聊天。

聊天 & 生成

工具

了解如何將 LLM 與外部工具連接起來。

工具

嵌入

學習如何在 Xinference 中建立文字嵌入。

嵌入

重排序

學習如何在 Xinference 中使用重排序模型。

重排序

圖像

學習如何使用Xinference生成圖像。

圖像

多模態

學習如何使用 LLM 處理圖像和音訊。

多模態

音訊

學習如何使用 Xinference 將音頻轉換為文字或將文字轉換為音頻。

音頻

視頻

學習如何使用Xinference生成影片。

影片（實驗性質）

灵活模型

了解如何使用 Xinference 推理傳統機器學習模型。

傳統機器學習模型（實驗性質）