多模态套件平台功能使用手册

# 客户集成方式

### 1.1工作模式1：作为输出语音交互结果从机模式

多模态套件实现录音、多模态降噪和云端语音服务交互，云端下发识别和语义结果到多模态套件，套件再通过socket协议将语音唤醒、识别、语义等结果发送给上位机，同时我们也支持将多模态的视频和音频信息发送给上位机。

![1731587781184](/media/202505//1748331370.8239708.png)

上位机获取语音交互信息我们提供了三个示例demo参考:

https://www.yuque.com/iflyaiui/zzoolv/xk9rpv?singleDoc# 《多模态 Demo下载》

![](/media/202505//1748331370.8287196.png)

上位机合成播报实现通过AIUI WebSocketAPI 协议

精品发音人合成参考 ：https://aiui-doc.xf-yun.com/project-1/doc-17/
超拟人发音人合成参考：https://aiui-doc.xf-yun.com/project-1/doc-407/
通过调用AIUI语音合成服务实现合成播报。

上位机语音交互界面，建议显示语音识别、语义理解、视频信息和常见示例说法，下图交互界面仅供参考。

![](/media/202505//1748331370.8312333.png)

### 1.2工作模式2：作为AI工控机主机模式

多模态套件自身具备语音交互全链路能力，内置的语音交互预览应用，接显示屏后可显示语音交互内容。

![1731978356334](/media/202505//1748331370.8338525.png)

![21d20081e6f6cf9db98837b42fb19b0](/media/202505//1748331370.842947.png)

# 设备安装指导

### 2.1场景说明

机器人高度在1.6米2.1米，建议在距离机器人1.5米至3米的位置进行语音交互。麦克风及摄像头水平方向安装，需要根据设备实际高度调整倾斜角度，且摄像头放在麦克风板的居中位置

![IMG_256](/media/202505//1748331370.8476224.png)

### 2.2 USB声卡回采接入

多模态usb声卡支持回采接入，详见接入说明见：

https://www.yuque.com/iflyaiui/zzoolv/rf2ggax8bsxpyp0o?singleDoc# 《usb声卡回采接入说明》

1.声卡接线

![IMG_256](/media/202505//1748331370.850062.webp)

2.上位机信号输出  
上位机播报，功放后的信号给到声卡回采输入（和给喇叭的信号一样），此步骤需要客户硬件工程师具备硬件改造能力。  
下图是外置功放板回采接入硬件改造示例:

![IMG_257](/media/202505//1748331370.8524837.webp)

USB声卡参考信号接口定义：

![IMG_258](/media/202505//1748331370.8548393.webp)

3、回采信号检查  
回采接入后需要检查信号质量，如增益、失真度、时延，可参考规范检查  
[https://www.yuque.com/iflyaiui/zzoolv/qlmtgh?singleDoc#](https://www.yuque.com/iflyaiui/zzoolv/qlmtgh?singleDoc) 《声学自测规范》  
4、声卡回采增益调整  
声卡提供了拨码开关可供调整一定范围的增益大小，对应第三位和第四位  
对应的增益大小：  
00 => 10DB  
01 => 20DB  
10 => 30DB  
11 => -6DB

![IMG_259](/media/202505//1748331370.8581877.webp)

# 多模态交互自定义

如需要实现机器人动作指令语音、设备人设和知识问答等业务，需要申请AIUI平台账号和应用配置自定义技能、官方技能、设备人设和文档问答。

### 3.1创建账号和应用

进入AIUI平台注册账号：https://aiui.xfyun.cn/user/register

输入手机号-->获取短信验证码-->设置密码-->勾选“我已阅读并同意”-->点击注册

（注意：1. 用关键人员手机注册账号，避免人员变动风险

1. 每个客户或产品单独创建appid）

![](/media/202505//1748331370.8614578.png)

点击“产品接入”-->点击“我的应用”：

![](/media/202505//1748331370.8638618.png)

点击“创建应用”：  
![](/media/202505//1748331370.8674612.png)

填写应用名称和类型，点击确定：

![](/media/202505//1748331370.8702557.png)

### 3.2机器人动作指令技能实现

1. 点击“产品接入”-->点击“自定义业务”，点击“技能”-->点击“技能”-->点击“创建技能”

![](/media/202505//1748331370.8727658.png)

![](/media/202505//1748331370.8763933.png)

1. 填写技能名称和技能标识，点击“创建”

![](/media/202505//1748331370.8790412.png)

1. 创建完成会自动进入技能编辑页面，或者手动进入技能编辑页面，即点击图标“笔”，如下：  
![](/media/202505//1748331370.8816726.png)

技能编辑页面如下：

![](/media/202505//1748331370.8854418.png)

1. 点击左边栏的“意图”，然后点击“创建意图”：

![](/media/202505//1748331370.8879035.png)

5.填写意图名称和英文标识，点击创建：

![](/media/202505//1748331370.8901596.png)

点击图标“笔”，进入意图编辑页面：

![](/media/202505//1748331370.8925917.png)

6.添加语料：

![](/media/202505//1748331370.8960721.png)

列举⼝语化说法，对句式进⾏梳理，添加意图语料

▪ 我们握⼿吧 → {me} {shake\_hands} {modal}

▪ 和我⼀起握个⼿ → {let} {me} [⼀起] {shake\_hands} {modal}

▪ 握个⼿吧 → {shake\_hands} {modal}

以上3个句式可合并为[{let}] [{me}] [⼀起] {shake\_hands} [{modal}]

![](/media/202505//1748331370.8987036.png)![](/media/202505//1748331370.900943.png)

1. 设置官⽅实体、辅助词（以设置辅助词为例，设置辅助词操作类似）

▪ {me}：使⽤官⽅辅助词IFLYTEK.Me，包括我、我们 等

▪ {modal}：使⽤官⽅辅助词IFLYTEK.Modal，包括了、 吧、吗 等

点击“设置对应实体”，切换成“辅助词”，输入需要搜索的词条，选择IFLYTEK.Me

![](/media/202505//1748331370.9041839.png)

1. ⽆可直接复⽤的官⽅实体、辅助词，⾃定义词典设置词条（以实体创建为例，辅助词创建操 作类似）

▪ {let}：根据需要设置词条，包括和、跟、让 等

▪ {shake\_hands}：根据需要设置词条，包括握⼿、握握⼿、握个⼿ 等

点击创建：

![](/media/202505//1748331370.9067647.png)

点击静态实体，填写中文名称和英文标识，然后创建：

![](/media/202505//1748331370.909243.png)

点击添加词条，输入词条和别名（别名可以设置多个，每一个回车添加），然后点击右上角的“构建实体”：

![](/media/202505//1748331370.9115171.png)

即可选择刚刚自定义的实体：

![](/media/202505//1748331370.914812.png)

1. 添加技能回复语句：

![](/media/202505//1748331370.9172578.png)

1. 意图语料构建完成后，可进行在线测试。测试效果正常，即可进⼊技能中的“发布”，点击“发布上线”：

![](/media/202505//1748331370.9206302.png)

![](/media/202505//1748331370.9234297.png)

以下示例实现机器人 打个招呼、拿物品和握手等动作实现 机器人动作指令语义实现：

![](/media/202505//1748331370.9257958.png)

技能实现视频：https://www.yuque.com/iflyaiui/zzoolv/sykxch9g9qdkpvym?singleDoc# 《机器人多模态交互套件结构及开箱体验视频》第四章节（机器人技能、设备人设和文档问答使用）

### 3.3设备人设和文档问答

（1）设备人设：

设备人设创建：点击产品接入->自定义业务->设备人设-->+设备人设-->输入名称点击创建

![](/media/202505//1748331370.9284325.png)![](/media/202505//1748331370.9327736.png)

![](/media/202505//1748331370.9354036.png)

进入创建的设备人设中可以选择填写属性配置，创建属于自己的设备人设，点击构建。（填写完属性配置，一定要记得“构建”！！）

![](/media/202505//1748331370.938639.png)![](/media/202505//1748331370.9416492.png)

（2）知识问答：

进入自定义业务中的问答库创建问答库:

![](/media/202505//1748331370.9442813.png)

![](/media/202505//1748331370.9471626.png)

进入问答库编辑页面，点击“文档管理”，点击“添加文档”：

![](/media/202505//1748331370.9507082.png)

上传文档，点击“保存”：

![](/media/202505//1748331370.95376.png)

点击“构建”，可以测试体验：

![](/media/202505//1748331370.9562197.png)

设备人设和文档问答实现视频：

https://www.yuque.com/iflyaiui/zzoolv/sykxch9g9qdkpvym?singleDoc# 《机器人多模态交互套件结构及开箱体验视频》第四章节（机器人技能、设备人设和文档问答使用）

1. 语句问答：

点击创建语句问答库：

![](/media/202505//1748331370.9592843.png)

填写语句问答库名称，点击创建：

![](/media/202505//1748331370.9620616.png)

如果选择批量导入，点击“批量操作”-->“批量覆盖”：

![](/media/202505//1748331370.9643624.png)

点击编辑，可对问题和答案进行编辑：

![](/media/202505//1748331370.9675307.png)

可以点击图标“闪亮星星”，调用AI扩写功能，对问答进行泛化处理（AI扩写有每日使用次数限制）：

![](/media/202505//1748331370.969984.png)

如果选择手动添加，点击创建主题，添加至少一个问答即可点击图标“闪亮星星”调用AI扩写功能，获得更多泛化说法（AI扩写有每日使用次数限制）：

![](/media/202505//1748331370.9733288.png)

![](/media/202505//1748331370.9758923.png)

点击构建问答库，可以体验问答库：

![](/media/202505//1748331370.9787123.png)

构建后，可在左边栏点击“发布”，然后点击右下角“发布上线”：  
![](/media/202505//1748331370.98119.png)

# 应用配置和模拟测试

应用配置：

进入我的应用--应用配置（如果已有应用，即可跳过创建步骤；如果没有，请看第二章节2.1：创建账户和应用）:  
![](/media/202505//1748331370.9838634.png)

勾选动作指令技能和设备人设:

![](/media/202505//1748331370.9865265.png)

![69683cb4e7e13144db70e6c560d35da](/media/202505//1748331370.9889522.png)

开通星火交互大模型和勾选文档问答：

![4ca488ab37797e8072d94f67490b2fc](/media/202505//1748331370.9916203.png)

模拟测试：

![](/media/202505//1748331370.99462.png)

![8036d0799054ee94a5898183799ad07](/media/202505//1748331370.9970672.png)

# 多模态套件效果体验

说明：平台上设备人设、自定义技能、文档问答等配置完成且在平台模式测试过后再进行盒子上语音体验交互。

（1）切换appid：

https://www.yuque.com/iflyaiui/zzoolv/eegd2u3m3xgoouvz?singleDoc# 《RK3588appid切换以及授权说明》

若发现更换appid后发现模组预览demo，摄像头黑屏。

检查模组右下角版本号白字信息，截图发送讯飞相关人员，联系讯飞技术支持开通对应多模授权。

（2）体验

可以看到我们刚配置的技能、设备人设和文档库问答。

![4461009db76a0056c8bcecd441330b5](/media/202505//1748331371.000316.png)