用 Lua 写 Dialplan 接 LLM:从零搓一个 AI 智能客服

-- 指定 unimrcp profile 和嗓音
session:set_tts_parms("unimrcp:my_tts_profile", "voice_name")
-- 合成并播放,{} 里是传给 MRCP 服务器的参数
session:speak("{speech-language=zh-CN,prosody-rate=medium}您好,请问有什么可以帮您?")

session:execute("play_and_detect_speech",
  "phrase:请说出您要办理的业务 " ..
  "detect:unimrcp {no-input-timeout=5000,recognition-timeout=15000}" ..
  grammar)
-- 识别结果是一段 XML(NLSML),存在这个变量里
local xml = session:getVariable("detect_speech_result")

-- voice_agent.lua —— FreeSWITCH AI 智能客服对话循环骨架
-- 由 dialplan 的 <action application="lua" data="voice_agent.lua"/> 调起

-- ============ 配置(按你的环境改)============
local TTS_PROFILE  = "unimrcp:my_tts_profile"   -- UniMRCP TTS profile
local TTS_VOICE    = "my_voice"                  -- 嗓音
local ASR_MOD      = "unimrcp"                   -- ASR 模块名,换引擎改这里
local ASR_GRAMMAR  = "builtin:dictation"         -- 自由识别(占位,按引擎实际写法改)
local LLM_GATEWAY  = "http://127.0.0.1:8080/chat" -- 你自建的 LLM 网关
local NO_INPUT_MS  = 6000
local RECOG_MS     = 15000
local MAX_NOINPUT  = 3    -- 连续没听到几次就转人工
-- ============================================

-- ---- 工具函数 ----

-- 合成并播放一段文本(TTS)
local function say(text)
  session:set_tts_parms(TTS_PROFILE, TTS_VOICE)
  -- barge-in:播报时允许客户开口打断(靠引擎的 kill-on-barge-in / 参数)
  session:speak("{speech-language=zh-CN}" .. text)
end

-- 开麦自由识别一句话,返回识别文本(听不到返回 nil)
local function listen()
  session:execute("play_and_detect_speech",
    "phrase:  detect:" .. ASR_MOD ..
    " {no-input-timeout=" .. NO_INPUT_MS ..
    ",recognition-timeout=" .. RECOG_MS .. "}" .. ASR_GRAMMAR)
  local xml = session:getVariable("detect_speech_result")
  if not xml then return nil end
  -- NLSML 结果里抠出识别到的文本(不同引擎标签略有差异,按实际调整)
  local text = xml:match("<input[^>]*>(.-)</input>")
             or xml:match("<instance[^>]*>(.-)</instance>")
  return text
end

-- 调 LLM 网关:发 {session_id, text},收 {reply, action}
-- 复杂逻辑(拼 prompt、多轮上下文、工具调用、流式)全在网关里做
local function ask_llm(uuid, text)
  -- 用 FreeSWITCH 内建的 curl API 发 HTTP(避免自己引第三方库)
  local body = string.format('{"session_id":"%s","text":%s}',
                             uuid, string.format("%q", text))
  local api = freeswitch.API()
  local resp = api:execute("curl",
    LLM_GATEWAY .. " post content-type application/json '" .. body .. "'")
  -- 解析网关返回的 JSON(生产里建议用正经 JSON 库,这里示意)
  local reply  = resp:match('"reply"%s*:%s*"(.-)"')  or "抱歉,我没太明白。"
  local action = resp:match('"action"%s*:%s*"(.-)"') or "continue"
  return reply, action
end

-- 转人工:把呼叫桥接到坐席队列(具体目标按你的路由改)
local function transfer_to_agent()
  say("好的,正在为您转接人工客服,请稍候。")
  session:execute("transfer", "agent_queue XML default")
end

-- ---- 主流程 ----

session:answer()
session:sleep(300)  -- 稍等媒体建立稳

local uuid = session:get_uuid()
say("您好,这里是智能客服,请问有什么可以帮您?")

local no_input = 0

-- 对话循环:直到客户挂断、转人工或明确结束
while session:ready() do
  local text = listen()

  if not text or text == "" then
    -- 没听到:计数、追问、超限转人工
    no_input = no_input + 1
    if no_input >= MAX_NOINPUT then
      transfer_to_agent()
      break
    end
    say("不好意思,我没有听清,您能再说一遍吗?")
  else
    no_input = 0  -- 听到了就清零
    freeswitch.consoleLog("info", "ASR: " .. text .. "\n")

    -- 问大脑
    local reply, action = ask_llm(uuid, text)
    say(reply)

    if action == "transfer" then
      transfer_to_agent()
      break
    elseif action == "hangup" then
      say("感谢您的来电,再见。")
      break
    end
    -- action == "continue":回到循环,进入下一轮
  end
end

if session:ready() then
  session:hangup()
end

<extension name="ai_agent">
  <condition field="destination_number" expression="^(9000)$">
    <action application="answer"/>
    <action application="lua" data="voice_agent.lua"/>
  </condition>
</extension>

@startmindmap
<style>
mindmapDiagram {
  node {
    BackgroundColor #F8F9FA
    RoundCorner 10
    Padding 10
    FontSize 13
  }
  :depth(0) {
    BackgroundColor #1E3A5F
    FontColor white
    FontSize 18
    FontStyle bold
  }
  :depth(1) {
    FontSize 15
    FontStyle bold
  }
  :depth(2) {
    FontSize 13
  }
}
</style>

* Lua + LLM AI 客服
** 为什么用 Lua
*** XML dialplan 干不了 HTTP+状态+分支
*** Lua 做对话循环刚好
** 两块拼图
*** 说话 set_tts_parms + speak
*** 听懂 play_and_detect_speech
*** 换引擎只改模块名
** 关键
*** 自由识别 不是固定语法
*** 选择题 vs 填空题
*** 理解交给 LLM
** 对话循环
*** 放欢迎语
*** 循环:听→问网关→说→调度
*** action: continue/transfer/hangup
** LLM 网关
*** Lua 侧就一个 HTTP POST
*** 上下文/prompt/工具调用都在网关
*** 换模型不碰电话侧
** 四个边界
*** 打断 barge-in
*** 超时无输入
*** 转人工
*** 异常兜底
** 落地
*** dialplan 挂 lua
*** 分层单测再串联
*** 先跑通再上流式
@endmindmap