在 Kubernetes 集群中安裝 Xinference#

基於原生 Helm 的方式#

Xinference 提供基於原生 Helm 在 Kubernetes 叢集中安裝的方式。

準備條件#

  • 一個可用的 Kubernetes 叢集。

  • 在 Kubernetes 中開啟 GPU 支援，參考 這裡 。

  • 正確安裝 Helm 。

具體步驟#

  1. 新增 Xinference Helm 倉庫

    helm repo add xinference https://xorbitsai.github.io/xinference-helm-charts

  2. 更新倉庫索引，查詢可安裝版本

    helm repo update xinference
helm search repo xinference/xinference --devel --versions

  3. 安裝

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version>

自訂安裝#

上述安裝方式安裝了一個類似單機的 Xinference，也就是只有一個節點，同時其他啟動參數均保持預設。

以下展示了一些常見的自訂安裝配置。

  1. 我需要從 ModelScope 下載模型。

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.model_src="modelscope"

  2. 我想使用 CPU 版本的 Xinference 映像檔（或其他版本的映像檔）。

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.xinference_image="<xinference_docker_image>"

  3. 我需要啟動 4 個 Xinference worker 節點，每個 worker 管理 4 個 GPU。

    helm install xinference xinference/xinference -n xinference --version <helm_charts_version> --set config.worker_num=4 --set config.gpu_per_worker="4"

上述安裝方式基於 Helm --set 選項。對於更複雜的自訂安裝場景，例如多個 worker 共享儲存，非常建議使用您自己的 values.yaml 檔案，然後透過 Helm -f 選項進行安裝。

The default values.yaml file is located here. Some examples can be found here.

基於第三方 KubeBlocks 的方式#

你也可以透過第三方的 KubeBlocks 來在 K8s 叢集中安裝 Xinference 。這種方式不是 Xinference 官方維護的，因此無法嚴格保證即時更新和可用性。請參考 文件 。