在昇騰 NPU 上安裝

Xinference 能在昇騰 NPU 上運行，使用如下命令安裝。

警告

開源版本依賴 Transformers 進行推理，在 310p3 等晶片上會存在運行緩慢的問題。我們提供了支援 MindIE 引擎，效能更為強大，相容性更佳的企業版本來支援 Ascend NPU。詳細請參考 Xinference 企業版

安裝 PyTorch 和昇騰擴展

安裝 PyTorch CPU 版本和對應的昇騰擴展。

以 PyTorch v2.1.0 為例。

pip3 install torch==2.1.0 torchvision==0.16.0 --index-url https://download.pytorch.org/whl/cpu

接著安裝 昇騰 PyTorch 擴展.

pip3 install 'numpy<2.0'
pip3 install decorator
pip3 install torch-npu==2.1.0.post3

執行下列命令查看，若正常運作，將顯示昇騰 NPU 的數量。

python -c "import torch; import torch_npu; print(torch.npu.device_count())"

安裝 Xinference

pip3 install xinference

現在你可以參考 文件 來使用 Xinference。Transformers 是開源唯一支援的昇騰 NPU 引擎。

企業支援

如果你在昇腾 NPU 遇到任何效能或其他問題，歡迎諮詢 Xinference 企業版，在 這裡 聯絡我們。