範例:Gradio 聊天界面🤗#

描述

這個範例展示了如何使用Gradio ChatInterface 聊天介面接口和 Xinference 本地LLM構建一個只有120行程式碼的聊天機器人。

涉及技術

@ Xinference 作為 LLM 模型託管服務

@ Gradio 作為聊天機器人的 Web 介面

關於示範功能的詳細說明

  • 解析使用者提供的命令列參數,以擷取關鍵的模型參數,例如模型名稱、大小、格式與量化方式。

  • 建立與 Xinference 框架的連接並部署指定的模型,確保它準備好進行即時互動。

  • 實現輔助函數(flatten和to_chat),以高效處理和儲存聊天互動,確保模型具有生成相關回應的上下文。

  • 使用 Gradio 設置互動式聊天介面,允許使用者在友善的環境中與模型進行通訊。

  • 啟動 Gradio Web 介面,讓使用者能夠開始他們的聊天會話,並根據他們的查詢接收模型生成的回應。

原始碼