範例：命令列聊天機器人 🤖️#

描述：

展示如何與 Xinference 交互，在命令列中基於 LLM 的聊天功能與 AI 代理互動。💻

涉及技術

@ ggerganov ggml

@ Xinference 作為平台

由 Xinference 推理 支援的所有 LLaMA 和 Chatglm 模型

關於演示功能的詳細說明：

  1. 在終端中接受使用者的命令列輸入，並取得啟動模型所需的參數。

  2. 啟動 Xinference 框架，並自動將使用者需求的模型部署到叢集中。

  3. 初始化一個空的聊天歷史，以儲存聊天室中的所有上下文。

  4. 遞迴地請求使用者的輸入作為提示詞，讓模型基於提示詞和聊天歷史生成回應。在終端機中顯示回應的輸出。

  5. 將使用者的輸入和代理的回應儲存到聊天歷史中，作為即將到來的對話輪次的上下文。

原始碼