示例

在這裡，你可以找到關於如何使用 Xinference 的範例與學習資源。

範例

使用 Xinference 的端到端應用：

• 在M2 Max上與AI代理進行語音對話的播客

• 與 LLM 模型互動：命令列範例 <chatbot.html>_

• 與 LLM 模型互動：Gradio 聊天頁面示例

• 使用本地 LLM 和嵌入模型的 PDF 聊天機器人

• 使用 LangChain 和 Streamlit 進行本地文件對話 <langchain_streamlit_doc_chat.html>`_

如果在您自己的工作流程中遇到其他範例，我們鼓勵您貢獻一個`PR <xorbitsai/inference>`_！

教程

以下教程涵蓋了在不同場景中使用 Xinference 的基礎知識：

• [Notebook] 使用 Xinference、Milvus 和 LangChain 的問答（QA）應用

• 在 LlamaIndex 中使用 Xinference 本地 LLMs

• [Chinese] 如何让 Chatbox 接入开源大模型，实现免费聊天

• [Chinese] 摆脱 OpenAI 依赖，8 分钟教你用开源生态构建全栈 AI 应用

• [Chinese] 使用全套开源工具构建 LLM 应用实战： 在 Dify 调用 Baichuan 开源模型能力

第三方函式庫整合

Xinference 能夠無縫整合和部署開源 AI 模型，因此支援 AI 領域主流工具包。Xinference 可以與以下第三方函式庫一起使用：

• LangChain Text Embedding Models and LLMs

• LlamaIndex Xinference LLM