6.5.5 音频传输协议

上位机可通过网络与RK3588多模态盒子建立音频传输通道，可参照开发包中的[Android示例代码](https://www.yuque.com/iflyaiui/zzoolv/xk9rpv "Android示例代码")实现。

## 音频传输协议

### 概述

上位机可以通过建立tcp连接来获取到实时唇形降噪后的音频数据。

**设备IP**：如果盒子为动态ip，可通过发送串口指令来获取ip，详见[多模态麦克风和摄像头状态查询指令](https://aiui-doc.xf-yun.com/project-1/doc-367/ "发送串口") 。
**指定端口**：
- **9080**：带有vad信息，音频帧间隔不稳定，主要用于识别。
	- 通道号0~10：带vad信息的唇形降噪音频（音频格式：单通道16k16bit）
	- 通道号255/-1：带vad信息的纯声学降噪音频（音频格式：单通道16k16bit）
	- 通道号99：发送给AIUI服务的识别音频片段（音频格式：单通道16k16bit）
	- 通道号98：领夹麦音频片段（音频格式：单通道16k16bit）

- **9070**: 无vad信息，音频帧间隔稳定。
	- 通道号100：原始麦克风多通道音（音频格式：8通道16k16bit）
	- 通道号255/-1：经过AGC、AEC处理后的纯声学降噪音频（音频格式：单通道16k16bit）

### 消息格式

消息格式与串口协议类似，唯一不同点为消息数据长度位从2个字节扩充到4个字节。

<table border="0" class="docutils" style="width: 100%;">
<colgroup>
<col width="5%" />
<col width="10%" />
<col width="15%" />
</colgroup>
<tbody valign="top">
<tr class="row-odd">
<td><b>字节</b></td>
<td><b>值</b></td>
<td><b>含义说明</b></td>
</tr>
<tr class="row-even">
<td>0</td>
<td>0xA5</td>
<td>同步头</td>
</tr>
<tr class="row-odd">
<td>1</td>
<td>0x01</td>
<td>用户ID</td>
</tr>
<tr class="row-even">
<td>2</td>
<td>0xXX</td>
<td>消息类型</td>
</tr>
<tr class="row-odd">
<td>3~6</td>
<td>0xXXXXXXXX</td>
<td>消息数据长度</td>
</tr>
<tr class="row-even">
<td>7~8</td>
<td>0xXXXX</td>
<td>消息ID</td>
</tr>
<tr class="row-odd">
<td>9~n</td>
<td>消息数据</td>
<td>消息数据</td>
</tr>
<tr class="row-even">
<td>n+1</td>
<td>0xXX</td>
<td>内部校验码</td>
</tr>
</tbody>
</table>
### 通信规则

*   单工通信，盒子连续下发音频帧；
*   语音模组下发消息，上位机负责接收解析消息；
*   建立socket连接之后，盒子即开始下发音频帧；

### 通信格式

通信格式定义了音频帧消息，详细如下：

<table border="0" class="docutils" style="width: 100%;">
<colgroup>
<col width="10%" />
<col width="8%" />
<col width="6%" />
<col width="8%" />
<col width="8%" />
<col width="8%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
<col width="6%" />
</colgroup>
<tbody valign="top">
<tr class="row-odd">
<td><b>分类</b></td>
<td><b>同步头</b></td>
<td><b>用户ID</b></td>
<td><b>消息类型</b></td>
<td><b>消息长度</b></td>
<td><b>消息ID</b></td>
<td colspan="14"><b>消息数据</b></td>
<td><b>校验码</b></td>
</tr>
<tr class="row-even">
<td><b>字节</b></td>
<td>0</td>
<td>1</td>
<td>2</td>
<td>3~6</td>
<td>7~8</td>
<td colspan="2">9</td>
<td colspan="2">10</td>
<td colspan="2">11~12</td>
<td colspan="4">13~16</td>
<td colspan="4">17~n</td>
<td>n+1</td>
</tr>
<tr class="row-odd">
<td><strong>vad音频帧</strong></td>
<td>0xA5</td>
<td>0x01</td>
<td>0x0a</td>
<td>同上</td>
<td>同上</td>
<td colspan="2">vad</td>
<td colspan="2">通道号</td>
<td colspan="2">0x00</td>
<td colspan="4">帧号</td>
<td colspan="4">音频</td>
<td>0x00</td>
</tr>
<tr class="row-odd">
<td><strong>连续音频帧</strong></td>
<td>0xA5</td>
<td>0x01</td>
<td>0x0c</td>
<td>同上</td>
<td>同上</td>
<td colspan="2">0x00</td>
<td colspan="2">通道号</td>
<td colspan="2">0x00</td>
<td colspan="4">帧号</td>
<td colspan="4">音频</td>
<td>0x00</td>
</tr>
</tbody>
</table>

#### 音频帧类型：
- vad音频帧：经过vad处理过的音频帧片段，会标记上vad状态，适用于识别，音频帧发送间隔不稳定。
- 连续音频帧：经过降噪处理过的音频帧片段，适用于通话，音频发送帧间隔稳定。

#### 消息长度：

数据格式中3-6字节为消息数据长度，消息长度编码为小端模式，即第3字节存储低字节，第6字节存储高字节。如确认消息中消息数据有4字节，则消息长度为4，编码到3-6字节就是0x04 0x00 0x00 0x00

#### 消息ID：

数据格式中7-8字节为消息ID，与消息长度类似，也是小端模式编码。可以使用消息ID过滤因超时重发导致的重复消息。两字节长度的消息ID取值0-65535，所以在实际使用中需要循环使用，具体实现可以参考Android平台上的源码实现。

#### 校检码：

校验位固定为0x00

### 音频帧消息
消息数据中包含vad状态、音频帧编号、pcm音频
#### vad状态
- 0 静音片段
- 1 开始说话
- 2 持续说话
- 3 结束说话

#### 通道号（仅多人多模版本）
标记当前音频对应哪一路说话人。
通道号标记：
- 255/-1：纯单模降噪音频
- 0-10：多模态降噪音频，每个说话人都有一个独立的输出通道，例如三人模式下面：输出0-2通道，每个通道音频都是独立的，当有人脸时是多模降噪，没人脸时是声学降噪，因此需要结合视频传输接口获取人脸信息，判断当前通道下的音频是否有效。例：通道0的人脸唤醒状态list[0].wakeup，通道1的人脸唤醒状态list[1].wakeup。
- 98：领夹麦音频
- 99：盒子内部送给AIUI的识别音频
- 100：原始麦克风多通道音频

#### 音频帧号
编码为小端模式，即第13字节存储低字节，第16字节存储高字节。接收到的音频帧号应为连续递增的数字。

#### 音频数据
音频数据格式为16k 16bit 单通道