AIUI交互流程说明

**目 录**
1. 链路分类
	1.1. 识别翻译链路
	1.2. 语义交互链路
	1.2.1. 传统语义交互链路
	1.2.2. 大模型语义交互链路
2. 使用配置流程
	2.1. 识别翻译配置
	2.2. 交互配置
	2.2.1. 传统语义配置
	2.2.2. 大模型语义配置

## 1. 链路分类

AIUI平台支持两类交互形式。
1.**识别翻译链路**
2.**语义交互链路**，包含**传统语义交互** 和 **大模型交互** 。整体流程如下

------------

### 1.1. 识别翻译链路

上传音频获取识别结果、翻译结果、及合成结果。

![](/media/202408/1_1724057232.png)

------------

### 1.2. 语义交互链路

------------

#### 1.2.1. 传统语义交互链路

- AIUI应用配置中开启结构化语义：

交互流程：语音识别  →  语义理解 → 后处理  → 语音合成。该流程顺序固定，除语音识别外的其他模块可开关，且配置修改时按照整体流程插入或移除处理项。（PS: 配置 识别+合成 流程无意义）

![](/media/202408/2_1724057253.png)

- 流程说明

如上图所示，云端开启后处理+语音合成全链路能力时，后处理服务接受AIUI云服务转发的语义结果做业务处理，然后返回结果给到AIUI,然后语音合成服务从接受到的后处理结果中提取合成文本做合成处理。

补充说明：
 全链路使用时，语音合成服务是从后处理结果的 answer.text 字段中提取合成文本的。所以在全链路能力开启时，后处理返回的结果需要满足下面的格式：
 {"intent" : { "answer" : {"text":"xxxx"}}}

- 技能优先级：

1.自定义技能 > 语句问答 > 设备人设 > 商店技能 > 关键词问答 > 兜底闲聊

2.同类型技能不区分优先级。

------------

#### 1.2.2. 大模型语义交互链路

- AIUI应用配置中开启结构化语义，并开启星火大模型：

语义理解部分由大模型处理，包含：语义规整、技能包（结构化语义理解）、文档问答、大模型回复。返回多项结果，其中大模型回复结果为流式下发，端侧需要做拼接处理。

![](/media/202409/2024-09-25_111920_5054830.29280459350119836.png)

- 流程说明：

如上图所示，交互大模型链路配置后处理+语音合成服务后，后处理接受的还是原结构化语义结果，但是与传统语义链路不同的是，语音合成服务不在取后处理结果做合成播报，而是取大模型结果做合成播报处理。所以在业务处理时：

- 业务托管仅播报大模型结果：

可以开启语音合成全链路托管

- 有业务处理逻辑，需要根据结果选择播报内容：

需要关闭平台的语义后合成功能，端侧做主动调用合成

------------

## 2.  使用配置流程

### 2.1. 识别翻译配置

- 在AIUI应用下情景模式创建处点击 “+”创建新的情景模式，选择 “语音翻译”场景

>注意：
 >翻译能力需授权，请联系商务申请：aiui_support@iflytek.com

![](/media/202408/4_1724057282.png)

- 创建完情景模式后，在跳转页面配置翻译场景，当前具体使用中有可以通过参数动态指定配置。详见文档说明

![](/media/202408/2024-08-29_101601_6570320.026723176415714422.png)

------------

### 2.2. 交互配置
传统语义和大模型语义主要区别在于是否开启“大模型”

------------

#### 2.2.1. 传统语义配置

- 开启结构化语义理解(后处理、语音合成 按需配置)，并关闭大模型。

![](/media/202408/2024-08-29_101857_3039180.5115906785116655.png)

- 服务对接

- SDK接入说明：
    - 5.x版本，直接对接
    - 6.x版本或以上，aiui.cfg配置aiui_ver 参数为 1,[详见文档说明](https://aiui-doc.xf-yun.com/project-1/doc-180/)。
  -  API接入：直接对接传统语义websocket协议，做集成开发即可（与大模型链路API不通用），[详见文档说明](https://aiui-doc.xf-yun.com/project-1/doc-17/)。
    -  本协议为会话级短连接：一次会话结束后即断开连接

------------

#### 2.2.2. 大模型语义配置

- 开启结构化语义理解配置，并开启大模型(后处理、语音合成 按需配置)

![](/media/202408/2024-08-29_102150_0530810.7428467031918701.png)

- 服务对接

- SDK接入说明：
 - 5.x版本，不支持大模型。
 - 6.x版本或以上，aiui.cfg配置aiui_ver 参数为2,[详见文档说明](https://aiui-doc.xf-yun.com/project-1/doc-180/)。
 - API接入：与传统语义API不同，新API协议，[详见文档说明](https://aiui-doc.xf-yun.com/project-1/doc-181/)。
 - 本协议为长连接形式：连接建立后，可以多次进行会话。

------------