Skip to main content

Stream LLM Completion Message Processor

Stream LLM Completion Message Processor 用於呼叫大型語言模型並產生串流式的自然語言輸出。

基本用法​

Stream LLM Completion Message Processor 用於呼叫大型語言模型（LLM）並以串流方式輸出自然語言回應。當工作流程執行到此 processor 時，會將設定的提示語發送給指定的 AI 模型，模型會即時產生回應並以「逐字輸出」的方式呈現，模擬真人打字效果。與一般 LLM Completion 不同的是，此 processor 已內建訊息輸出功能，無需額外連接 Push Message Processor。適用於聊天機器人、即時問答、對話助理等需要自然互動體驗的場景。

配置參數​

Name​

  • 顯示在畫布上的名稱，用於在工作流程中識別此 processor

Description​

  • 用於補充此 processor 的用途，提升工作流程的可讀性與可維護性

Properties​

Completion Model（必填）​

  • 說明：選擇要使用的大型語言模型
  • 設定方式：從下拉選單選擇已設定的模型，或點擊「Add」新增模型設定
  • 支援模型：OpenAI GPT、Claude、Gemini 等

Prompt（必填）​

  • 說明：發送給 AI 模型的提示語，用於描述任務背景與要求
  • 設定類型：
    • Literal：直接輸入固定提示內容
    • Expression：使用 JavaScript 表達式動態產生提示
    • Template：使用範本語法組合提示內容
    • Template (Advance)：進階範本模式，支援複雜的範本語法

MaxTokens（必填）​

  • 說明：設定模型生成回應的最大 Token 數量
  • 用途：控制回應長度，避免超出模型限制或產生過長內容
  • 建議值：根據使用的模型和任務需求設定，一般為 1024-4096

ImageBlobId（選填）​

  • 說明：提供給模型分析的圖片檔案 ID
  • 使用條件：僅在選用支援視覺功能的模型時可用
  • 設定類型：通常使用 Expression 引用上傳的圖片 Blob ID

Await​

  • 說明：控制工作流程是否等待 LLM 完全輸出完成後才繼續執行
  • 選項：
    • 開啟：等待完整回應生成後才執行下一個 processor
    • 關閉：模型開始輸出第一個 Token 時就繼續執行下一個 processor

Payload（選填）​

  • 說明：附加的資料內容或元資料
  • 用途：可包含額外的結構化資料供前端使用

isDebug（選填）​

  • 說明：標記此訊息是否為除錯用途
  • 預設值：false
  • 用途：在開發階段用於區分正式訊息與除錯訊息

Template（選填）​

  • 說明：訊息範本設定，用於定義輸出訊息的呈現格式
  • 用途：可設定按鈕、圖片、快速回覆等豐富的訊息格式

連接關係​

Success​

  • Await 模式開啟：當 AI 模型完全生成回應後，工作流程才會從此連接點繼續執行
  • Await 模式關閉：當 AI 模型開始生成第一個 Token 時，工作流程就會從此連接點繼續執行

Failure​

當 AI 模型呼叫失敗時，工作流程會從此連接點繼續執行，並產生 prevError 變數儲存錯誤資訊。

使用範例​

即時聊天機器人​

Stream LLM Completion Message 設定：

  • Completion Model：選擇 gpt-4o-mini
  • Prompt：選擇 Template (Advance)
  • 編輯器：
你是一位聰明的聊天機器人，負責用你的知識回答客戶問題。

* 這裡是你和客戶的對話內容:

{{{ history 0 -1 }}}
  • MaxTokens：4096
  • Await：開啟

客服助理回應​

Prompt 設定：

你是飯店的客服助手，根據搜尋到的知識庫內容回答客戶問題。

* 客戶問題: {{{ question }}}
* 知識庫搜尋結果:
{{{ toJson faqs }}}

圖片分析回應​

設定：

  • ImageBlobId：選擇 Expression
  • 編輯器：
prevBlobs[0].blobId
  • Prompt：
你是影像辨識助手，請觀察圖片並回答使用者的問題。

使用者問題: {{{ prevMessage }}}

注意事項​

  1. 內建輸出功能：此 processor 已包含訊息輸出功能，無需額外連接 Push Message

  2. 串流效果：輸出會以逐字顯示的方式呈現，提供更自然的對話體驗

  3. Await 設定：根據後續流程需求決定是否等待完整回應生成

  4. 效能考量：串流輸出可能對某些整合平台有限制，需確認平台支援度

  5. 錯誤處理：建議連接 Failure 分支，處理 API 呼叫失敗的情況