範例:Gradio 聊天界面🤗#
描述:
這個範例展示了如何使用Gradio ChatInterface 聊天介面接口和 Xinference 本地LLM構建一個只有120行程式碼的聊天機器人。
涉及技術
@ Xinference 作為 LLM 模型託管服務
@ Gradio 作為聊天機器人的 Web 介面
關於示範功能的詳細說明:
解析使用者提供的命令列參數,以擷取關鍵的模型參數,例如模型名稱、大小、格式與量化方式。
建立與 Xinference 框架的連接並部署指定的模型,確保它準備好進行即時互動。
實現輔助函數(flatten和to_chat),以高效處理和儲存聊天互動,確保模型具有生成相關回應的上下文。
使用 Gradio 設置互動式聊天介面,允許使用者在友善的環境中與模型進行通訊。
啟動 Gradio Web 介面,讓使用者能夠開始他們的聊天會話,並根據他們的查詢接收模型生成的回應。