示例：PDF 聊天機器人📚#

描述：

這個範例展示了如何使用本地 LLM 和 embedding 模型建置 PDF 聊天機器人。

涉及技術

@ Xinference 作為 LLM 模型託管服務

@ LlamaIndex 用於編排整個RAG管道

@ Streamlit 用於交互式使用者介面

關於演示功能的詳細說明：

  • 製作了一個 Dockerfile，透過 Docker 簡化了部署流程並確保易於複現。

  • 使用 Xinference 拉起 LLM 和 embedding 模型，並暴露兩個端口以存取它們。

  • 利用 Streamlit 實現無縫檔案上傳和與聊天引擎的互動通訊。

  • 文件嵌入速度比 OpenAI 的 API 快 5 倍。

  • 利用 GGML 的強大功能將模型置於 GPU 上運行，確保加速、減少等待返回的時間。

原始碼