入門指南

• 安裝
  • Transformers 引擎
  • vLLM 引擎
  • Llama.cpp 引擎
  • SGLang 引擎
  • MLX 引擎
  • 其他平台
• 使用
  • 本地執行 Xinference
  • 集群中部署 Xinference
  • 使用 Docker 部署 Xinference
  • 更多
• 日誌
  • 日誌等級
  • 日誌檔案
  • Environment Variables
• Docker 映像
  • 準備工作
  • Docker 映像
  • 自訂映像檔
  • 使用鏡像
  • 掛載模型目錄
• 在 Kubernetes 集群中安裝 Xinference
  • 基於原生 Helm 的方式
  • 基於第三方 KubeBlocks 的方式
• 故障排除
  • 沒有 huggingface 倉庫權限
  • NVIDIA 驅動與 PyTorch 版本不匹配
  • 外部系統無法透過 <IP>:9997 存取 Xinference 服務
  • 啟動內建模型需要很長時間，模型有時下載失敗
  • 使用官方 Docker 映像時，RayWorkerVllm 因 OOM 而死亡，導致模型無法載入
  • 載入 LLM 模型時提示缺少 model_engine 參數
  • 解決 MKL 執行緒層衝突
  • 配置 PyPI 鏡像以加快軟體套件安裝速度
  • 使用 uv 安裝 Xinference 1.12.0 失敗（截至 2025 年 11 月）
  • vLLM + Torch + Xinference 相容性問題（段錯誤）
• 環境變數
  • XINFERENCE_ENDPOINT
  • XINFERENCE_MODEL_SRC
  • XINFERENCE_HOME
  • XINFERENCE_HEALTH_CHECK_FAILURE_THRESHOLD
  • XINFERENCE_HEALTH_CHECK_INTERVAL
  • XINFERENCE_HEALTH_CHECK_TIMEOUT
  • XINFERENCE_DISABLE_HEALTH_CHECK
  • XINFERENCE_DISABLE_METRICS
  • XINFERENCE_DOWNLOAD_MAX_ATTEMPTS
  • XINFERENCE_TEXT_TO_IMAGE_BATCHING_SIZE
  • XINFERENCE_SSE_PING_ATTEMPTS_SECONDS
  • XINFERENCE_MAX_TOKENS
  • XINFERENCE_ALLOWED_IPS
  • XINFERENCE_BATCH_SIZE
  • XINFERENCE_BATCH_INTERVAL
  • XINFERENCE_ALLOW_MULTI_REPLICA_PER_GPU
  • XINFERENCE_LAUNCH_STRATEGY
  • XINFERENCE_MAX_CONCURRENT_LAUNCHES
  • XINFERENCE_ENABLE_VIRTUAL_ENV
  • XINFERENCE_VIRTUAL_ENV_SKIP_INSTALLED
  • XINFERENCE_CSG_TOKEN
  • XINFERENCE_CSG_ENDPOINT
  • XINFERENCE_QWEN3_RERANK_TEMPLATE
  • XINFERENCE_LAUNCH_HISTORY_DB_PATH
• 版本發佈說明