智能语音背包产品开发手册

当机器人完成智能语音背包的安装和调试后，机器人已经具备基本语音对话功能，但还不能实现语音对于机器人的运动控制。智能语音背包提供通信服务，会将语音指令以Socket方式推送给机器人主控。

智能语音背包实现录音、多模态降噪和云端语音服务交互，云端下发识别和语义结果到多模态套件，背包通过局域网socket协议（通过网线或wifi）将语音唤醒、识别、语义等结果发送给上位机，同时我们也支持将多模态的视频和音频信息发送给上位机机器人。

![](/media/202508/2025-08-25_091837_6512330.47006054339878256.png)
具体开发实现如下：

## 1.  建立机器人与智能背包通信

### 1.1. 网络连接方式

语音背包和机器人主控Socket通信网络连接方式：

1. **无线连接（推荐）**
   机器人与智能背包连接同一个网络，可以是有线，也可以是无线。机器人通过静态网络ip与智能背包通信。

2. **有线连接**
   机器人与智能背包通过网线连接，机器人设置网络共享，给智能背包供网。智能背包设置静态网络IP，机器人通过静态网络ip与智能背包通信。

### 1.2. 智能背包设置静态网络ip

第一步：电脑连接多模态算力主板后，打开投屏软件(scrcpy.exe)，界面内按住鼠标左键上划

![](/media/202508/2025-08-25_091946_9802690.9109802389510937.png)

第二步：点击设置，点击网络和互联网，将设备联网

![](/media/202508/2025-08-25_091959_0523900.04573986782653083.png)

![](/media/202508/2025-08-25_092008_0068300.5507616629686196.png)

第三步：进入以太网

![](/media/202508/2025-08-25_092020_6098800.23065613049399525.png)

第四步：点击最下方的以太网ip模式选中静态ip

![](/media/202508/2025-08-25_092030_2980070.12429009310297845.png)

![](/media/202508/2025-08-25_092038_4014770.8184346872065558.png)
第五步：设置静态ip示例

![](/media/202508/2025-08-25_092049_6318470.6820368462316614.png)

## 2. 上位机开发

上位机（机器人端）获取语音交互信息我们提供了三个示例demo参考:（运行demo时需要将背包的tcpdemo切换到后台，否则会占用socket通道）

[多模态 Demo下载](https://www.yuque.com/iflyaiui/zzoolv/xk9rpv?singleDoc#)

![](/media/202508/2025-08-25_092139_3404400.7196019982185204.png)

- 【识别语义传输协议】[https://aiui-doc.xf-yun.com/project-1/doc-367/](https://aiui-doc.xf-yun.com/project-1/doc-367/)
- 【音频传输协议】[https://aiui-doc.xf-yun.com/project-1/doc-392/](https://aiui-doc.xf-yun.com/project-1/doc-392/)
- 【视频传输协议】[https://aiui-doc.xf-yun.com/project-1/doc-360/](https://aiui-doc.xf-yun.com/project-1/doc-360/)

上位机（机器人端）通过识别语义传输协议，获取识别结果、语义结构等结构化数据，动作指令语义协议通过5.1.4 自定义技能实现，可结合机器人功能自行定义。如定义了如下机器人动作指令：

![](/media/202508/2025-08-25_092152_0624990.9179389965981998.png)

动作指令交互时如"握个手"，语义结果下发结构化数据如下，上位机（机器人端）拿到握手意图标识（handshake）,执行握手动作，即可完成语音到机器人握手动作全流程。

~~~ json
{
    "answer": {
        "text": "好让我们握个手吧",
        "type": "T"
    },
    "category": "OS14948762876.action",
    "data": {
        "result": null
    },
    "intentType": "custom",
    "rc": 0,
    "semantic": [
        {
            "entrypoint": "ent",
            "hazard": false,
            "intent": "handshake",
            "score": 1,
            "slots": [],
            "template": "握个手"
        }
    ],
    "semanticType": 0,
    "service": "OS14948762876.action",
    "sessionIsEnd": false,
    "shouldEndSession": false,
    "sid": "atn0bd03c82@dx00011c038d2ea19000",
    "state": null,
    "test": "true",
    "text": "握个手",
    "uuid": "atn0bd03c82@dx00011c038d2ea19000",
    "vendor": "OS14948762876",
    "version": "7.0",
    "voice_answer": [
        {
            "content": "好让我们握个手吧",
            "type": "TTS"
        }
    ]
}
~~~

## 3. 定义机器人交互技能

如需要实现机器人动作指令语音、设备人设和知识问答等业务，需要申请AIUI平台账号和应用配置自定义技能、官方技能、设备人设和文档问答。

可参考多模态套件平台功能使用手册（[https://aiui-doc.xf-yun.com/project-2/doc-397/](https://aiui-doc.xf-yun.com/project-2/doc-397/)）中多模态交互自定义实现机器人动作指令语音、设备人设和知识问答等业务，需要申请AIUI平台账号和应用配置自定义技能、官方技能、设备人设和文档问答。