跳至主要内容

LLM Completion Processor

LLM Completion Processor 用於呼叫大型語言模型並產生結構化的資料輸出。

基本用法​

LLM Completion Processor 用於呼叫大型語言模型（LLM）處理自然語言任務並產生結構化回應。當工作流程執行到此 processor 時，會將設定的 Prompt 發送給指定的模型，模型會根據提示內容生成回應，並按照 Output Schema 定義的格式輸出結構化資料。適用於文字分析、內容生成、決策輔助、情境判斷等需要 AI 智能處理的場景。

配置參數​

Name​

  • 顯示在畫布上的名稱，用於在工作流程中識別此 processor。

Description​

  • 用於補充此 processor 的用途，提升工作流程的可讀性與可維護性

Properties​

Completion Model（必填）​

  • 說明：選擇要使用的大型語言模型
  • 設定方式：從下拉選單選擇已設定的模型，或點擊「Add」新增模型設定
  • 支援模型：OpenAI GPT、Claude、Gemini 等

Prompt（必填）​

  • 說明：發送給 AI 模型的提示語，用於描述任務背景與要求
  • 設定類型：
    • Literal：直接輸入固定提示內容
    • Expression：使用 JavaScript 表達式動態產生提示
    • Template：使用範本語法組合提示內容
    • Template (Advance)：進階範本模式，支援複雜的範本語法

Output Schema（必填）​

  • 說明：定義 AI 模型輸出資料的 JSON Schema 格式
  • 用途：確保 AI 回應符合預期的結構化格式，方便後續 processor 使用
  • 格式：標準 JSON Schema 格式

MaxTokens（必填）​

  • 說明：設定模型生成回應的最大 Token 數量
  • 用途：控制回應長度，避免超出模型限制或產生過長內容

ImageBlobId（選填）​

  • 說明：提供給模型分析的圖片檔案 ID
  • 使用條件：僅在選用支援視覺功能的模型時可用
  • 設定類型：通常使用 Expression 引用上傳的圖片 Blob ID

連接關係​

Success​

當 AI 模型成功生成回應時，工作流程會從此連接點繼續執行。輸出的變數會根據 Output Schema 定義的結構產生，最外層必定是一個物件。

Failure​

當 AI 模型呼叫失敗時（如 API 錯誤、Token 超限等），工作流程會從此連接點繼續執行。

使用範例​

情境判斷​

LLM Completion 設定：

  • Completion Model：選擇 gpt-4o-mini
  • Prompt：選擇 Template (Advance)
  • 編輯器：
你是情境判斷助手，負責判斷使用者是否詢問客服相關問題。 *
這是你跟使用者的對話紀錄:

{{{ history historyStart -1 }}}
  • Output Schema：
{
  "type": "object",
  "properties": {
    "isCustomerSupport": {
      "type": "boolean",
      "description": "true 表示使用者正在詢問關於客服的問題"
    }
  },
  "required": ["isCustomerSupport"]
}
  • MaxTokens：4096

圖片分析​

LLM Completion 設定：

  • ImageBlobId：選擇 Expression
  • 編輯器：
prevBlobs[0].blobId;

內容生成​

Output Schema 範例：

{
  "type": "object",
  "properties": {
    "answer": {
      "type": "string",
      "description": "AI 生成的回答內容"
    },
    "confidence": {
      "type": "number",
      "description": "回答的信心度分數"
    }
  },
  "required": ["answer"]
}

注意事項​

  1. 模型選擇：根據任務需求選擇適合的模型，考慮處理能力、成本和回應速度

  2. Prompt 設計：清晰明確的提示語有助於獲得更好的 AI 回應品質

  3. Token 限制：注意模型的 Token 限制，包括輸入和輸出的總 Token 數

  4. 錯誤處理：建議連接 Failure 分支，處理 API 呼叫失敗的情況

  5. 成本控制：AI 模型呼叫會產生費用，合理設定 MaxTokens 以控制成本