Stream LLM Completion

基本用法​

執行 Stream LLM Completion 時，會將設定的 Prompt 發送給指定的 Completion Model，模型會即時產生回應並以「逐字輸出」的方式呈現，模擬真人打字效果。此 processor 已內建訊息輸出功能，無需額外連接 Push Message。適用於需要自然對話體驗的 AI 聊天機器人、即時客服回應、互動式問答等場景。

配置參數​

節點的屬性面板：

×

Name​

顯示在畫布上的名稱，用於在工作流程中識別此 processor。

Description​

用於補充此 processor 的用途，提升工作流程的可讀性。

Properties​

Completion Model（必填）​

選擇要使用的 Completion Model 資源名稱。需要先建立 Completion Model 資源，支援 OpenAI GPT、Claude、Gemini 等模型。

Prompt（必填）​

發送給 AI 模型的提示詞，用於提供資料補充背景和必要的記憶。

設定類型​

• Literal：直接輸入固定提示內容
• Expression：使用 JavaScript 表達式動態產生提示
• Template：使用模板語法和內建函數組合提示內容

詳細的取值方式說明請參考：Expression 介紹 - 取值方式

Input​

這一回合要送給模型的使用者訊息。留空時，processor 會改用管道傳進來的訊息，也就是 context 中的 prevMessage。

一般對話流程不需要設定這個欄位，讓它沿用使用者實際說的話即可。需要覆寫的情境通常是先對輸入做過加工，例如補上前文摘要或改寫成更明確的問句之後，再交給模型。

MaxTokens（必填）​

設定模型提示 + 生成回應的最大 Token 數量，用於控制回應長度和成本。

Await​

控制工作流程是否等待 LLM 完全輸出完成後才繼續執行。開啟時等待完整回應生成，關閉時模型開始輸出第一個 Token 就繼續執行。

Temperature​

(可選) 模型的溫度值，控制回答的隨機性。數值越高，回答越隨機多樣；數值越低，回答越確定一致。數值範圍限制隨著使用的 completion model 會有所不同，需依照該模型的限制填入。省略時會自動採用模型的預設值。注意：某些模型不支援溫度值參數，請勿在此類模型中設定此欄位。

Effort​

推理強度，可設為 low、medium、high、xhigh、max，或 auto 表示交給模型自行決定。它同時控制思考深度與整體 token 花費。

未設定時採用模型預設值。並非每個模型都支援每一個等級，送出不支援的等級會讓該回合失敗；有些模型（特別是速度取向的 Haiku 等級）根本不接受這個參數，這種情況要設為 disabled，讓系統完全不送出這個欄位。

MCP Servers​

(可選) 模型可以使用的 toolset 名稱，可從下拉選單選擇。當有設定 toolsets 時，會賦予模型調用這些工具集之下的所有工具。多數情況下，為了使模型更清楚何時該正確的調用何種工具，建議也要於 prompt 處進行向模型相關的調用說明。

Enable OpenAI Web Search​

(可選) 是否啟用 OpenAI Web Search 功能。僅限支援 Web Search 的 OpenAI 模型使用。啟用後，模型可搜尋網路資訊來回答問題。(詳細資訊可參考：OpenAI 官方文件)

OpenAI Web Search Context​

(可選) 控制從網路檢索多少內容來協助工具產生回應。可選值：'low'（低）、'medium'（中）、'high'（高）。只有在啟用「Enable OpenAI Web Search」設定時，才可以進一步設定此設定值。

Blob IDs​

提供給模型分析的圖片或檔案 ID，可點擊 (+) 按鈕後新增多筆 Blob ID 資料。僅在使用支援視覺解析功能的 Completion Model 時可用。模型會根據這些內容進行分析並回應。

Semantic Layers​

以 JSON 陣列設定要掛給模型的語意模型，每個元素的形狀為：

[
  {
    "name": "<CR name>",
    "allowQuery": true,
    "allowWrite": false,
    "allowedCubes": ["orders", "order_items"]
  }
]

和底下單數形的 Semantic Layer 相比，這個欄位可以一次掛上多個語意模型，讓同一次 LLM 呼叫跨多個資料庫查詢。新的工作流程請使用這個欄位。

Semantic Layers Data Visualization​

預設關閉。開啟後，只要至少設定了一個語意模型，模型就會額外獲得兩個工具：show_result_set_table 與 show_vega_visualization，用來把最近一次查詢結果轉成 UI 表格或 Vega v5 圖表。

這是選擇性開啟的功能。沒有開啟時，查詢結果只會以文字形式回覆。

Sandbox Blueprint​

指定一個 SandboxBlueprint 名稱，為這次 LLM 呼叫建立對應的 Sandbox。設定後系統會先確保 Sandbox 進入 Ready 狀態才送出任務，模型則會取得綁定該 Sandbox 的內建工具（bash、str_replace_editor），以及在 system prompt 中被探索到的 Skills。

留空表示這次呼叫不掛載 Sandbox。

在 Workflow CRD 中的設定​

- name: proc-agent-stream-msg
  type: stream-llm-completion-message
  labels:
    display_name: Agent
    description: 電商總管主回應
  configs:
    - name: completionModel
      value: cm-builtin-balanced
    - name: prompt
      template: |
        你是電商總管，一個協助電商營運團隊的 AI 協作 Agent。
        {{#if prevPayload.brand}}
        目前處理的品牌是 {{{prevPayload.brand.display_name}}}。
        {{/if}}
    - name: maxTokens
      value: "60000"
    - name: await
      value: "true"
    - name: toolsets
      value: "ts-ui-event"
    - name: sandboxBlueprint
      value: "sbp-ec-manager"

prompt 是跨回合穩定的系統提示與人設，不放使用者訊息或對話歷史，那是 input 的職責。用 template 撰寫時可使用 Handlebars 的條件式，依 payload 內容組出不同的人設。

toolsets 是編輯器上顯示為 MCP Servers 的那個欄位，值是以逗號分隔的 Toolset 名稱。

連接關係​

Success​

• Await 模式：當 AI 模型完全生成完整回應後，工作流程會從此連接點繼續執行
• Non-Await 模式：當 AI 模型開始生成第一個 Token 時，工作流程立即從此連接點繼續執行

Failure​

當 AI 模型呼叫失敗時，工作流程會從此連接點繼續執行，並產生 prevError 變數儲存錯誤資訊。

一個實際的例子​

一般的對話回覆：接在 Listen Message 後面，把使用者說的話丟給模型，回覆直接串流出去。

Await 關閉時流程送出回覆就往下走；需要在回覆結束後再做事（例如記錄到資料庫）才開啟它。

注意事項​

• 這個 processor 自己就會把回覆送給使用者，後面不需要再接 Push Message。
• 回覆是逐字串流出去的，不是等整段生成完才出現。
• Await 決定要不要等整段回覆結束再往下走：開啟時後面的節點拿得到完整回覆，關閉時流程會先繼續跑。