RK3588多模态套件使用手册

# 使用手册

**目 录**
1. 编写目的
2. 准备工作
3. 接口描述
4. Demo体验
5. 项目应用
	5.1 使用降噪后音频
	5.2 使用串口信息
6. 语义场景说明

# 1. 编写目的

本文档旨在让用户快速体验RK3588多模态开发套件，以及快速根据项目不同需求进行效果验证。

# 2. 准备工作

* **RK3588 多模态开发套件**

* **HDMI线、显示屏**

* **鼠标**

* **上位机，如电脑（操作系统 windows10，用于查看调试信息和客制化）**

# 3. 接口描述

![3588接口](/media/202402//1709170973.806941.jpeg)
 <center>图1 RK3588主机接口图</center>

表1 RK3588 多模态开发套件接口说明

# 4. Demo体验

**第一步：接线指导**

按照图示，从右向左依次连接网线，电源线，鼠标，摄像头线，HDMI线，音频线。

![d545ffbbfd865ab9dceb7f5d50c41cc](/media/202402//1709170973.816158.jpeg)

**第二步：打开apk**

1、打开图中红框的体验apk

![4df0f8b930896052456079c887039ba](/media/202402//1709170973.8206818.jpeg)

2、鼠标点击图像转换后预览

![3d271845caab17711161869ecb9b908](/media/202402//1709170973.8405495.jpeg)

3、 进入体验界面，人脸框住时可开始交互

![7787183b839fef3c891e7aee3cb079c](/media/202402//1709170973.8621018.jpeg)

**第三步：交互安装指导**

1、根据不同的使用场景，需要注意摄像头的选型。
1米内交互近焦摄像头；1~3米内交互需要适配远焦摄像头。
2、 摄像头高度建议放在1.5米到1.8米之间，保证人脸及唇形能够被清晰捕捉到。
3、 摄像头尽量放在麦克风板的居中位置。
4、 如果用的是讯飞四麦或者八麦裸麦板，要注意麦板集成到设备上时,设备上需要预留麦克风的孔洞，规格是直径11mm,深度0.5mm；且需要配φ11mm 厚度1mm的硅胶垫+防尘网（双面可粘贴），中间直径2mm 。
5、 Demo交互指令支持：天气查询，闲聊问答等。

# 5. 项目应用

本章介绍两种使用方式：
1、 如果上位机有自己的语音服务，需要RK3588主机输出降噪后音频，可通过3.5mm音频线从HPOUT口输出音频给上位机，**结合RS232串口输出的人脸唤醒状态进行语音识别。**
2、 如上位机需要拿到RK3588输出的识别，语义结果，可以通过RS232接口输出主机串口信息给上位机。

## 5.1使用降噪后音频

**第一步：**按照图示接好主机电源，麦克风音频线，摄像头线（接USB2.0），3.5mm耳机线（接HPOUT口），串口线（接RS232口）；

![57c6fed07c788b1a7844fe7af6930d3](/media/202402//1709170973.8676333.jpeg)

![](/media/202402//1709170973.883642.png)**第二步：**3.5mm音频线另一端接入上位机，如果上位机为4段式3.5mm接口（例如笔记本电脑），需要另外装配一根耳麦二合一转接线，3.5mm接入到二合一线的麦克风口。

**第三步：**上位机通过对应的声卡进行录音

## 5.2使用串口信息

**第一步：** 按照图示接好主机电源，麦克风音频线，摄像头线，串口线（接RS232接口）；

![0a589293ab652818b17adfbc8db51fd](/media/202402//1709170973.8886616.jpeg)

**第二步：** 串口线另一头连接上位机（可根据上位机接口选择USB口或RS232串口）

![微信图片_20240111191101](/media/202402//1709170973.9153702.jpeg)

**第三步：** 打开开发包中的小草莓图标的AIUI串口调试工具，波特率选择115200，语音识别、语义的交互信息会在控制台中输出出来。
![](/media/202402//1709170973.9195688.png)

# 6. 语义场景说明

AIUI 默认场景包括天气、音乐、航班、火车、 诗词、智能家居，如果需要更多场景，请登录 http://www.xfyun.cn/services/aiui 进行配置。

（客户可以通过串口工具替换成自己的appid，配置不同的技能或识别引擎，但是改appid需要拿到讯飞的多模态授权，通过邮件申请：aiui_support@iflytek.com）