多模态交互套件产品白皮书

**版本记录**

版本	更新内容	更新时间
V1.0	初始文档	2024.04.25
V2.0	更改设备主板，确定配件信息	2024.05.31

**目 录**

1. 产品概述

2. 产品实物图

3. 适用场景

4. 产品特点

5. 产品功能

6. 硬件接口说明

7. 使用模式

8. 硬件尺寸信息

9. 主机规格参数

# 产品概述

机器人多模态交互产品是一款基于多麦克风阵列+人脸检测的整体语音解决方案。使用Rockchip RK3588S做为主芯片,采用8nm先进制程工艺,主频最高可达2.4GHz,集成四核64位Cortex-A76和四核64位Cortex-A55共八核处理器和ARM Mali-G610 MC4 GPU,支持8K视频编解码和8K显示输出,超强影像处理能力,支持多摄像头输入,支持多频异显。

本产品集成神经网络处理器 NPU，算力高达6.0Tops，支持线性四麦，环形六麦，双线性四麦三种可选收音方式，适用于交互距离在0.5米~1.5米的人形机器人，服务机器人等交互场景。

# 产品实物图

![C:\Users\fjyu2\Desktop\野火主机图片\主图.jpg主图](/media/202407//1720692159.813836.jpeg)

图 1 机器人多模态交互产品主机

![线性四麦](/media/202407//1720692159.8199117.jpeg)

图 2 声卡主板+线性四麦麦克风实物图（可选一）

![双线性四麦](/media/202407//1720692159.8244288.jpeg)

图 3 声卡主板+双线性四麦麦克风实物图（可选二）

![31b25af9574065de49e734ba4c70a4f](/media/202407//1720692159.857676.jpeg)

图 4 声卡主板+环形六麦麦克风板实物图（可选三）

![C:\Users\fjyu2\Desktop\野火主机图片\单目500W摄像头.jpg单目500W摄像头](/media/202407//1720692159.8650808.jpeg)

图 5 单目500远焦摄像头

# 适用场景

**3.1摄像头+线性四麦麦克风**

* 主要适用于需要跟机器人**正前方**交互的设备
* 摄像头面向人脸，线性四麦麦克风板拾音孔面向正前方安装。需要注意机器人外壳麦克风预留的孔径孔深比。

**![C:\Users\fjyu2\Desktop\野火主机图片\线性四麦示意图.jpg线性四麦示意图](/media/202407//1720692159.8883483.png)**

**3.2摄像头+环形六麦麦克风**

* 主要适用于需要跟机器人**360°**交互的设备
* 摄像头面向人脸，环形六麦麦克风板拾音孔面向上方安装。需要注意机器人外壳麦克风预留的孔径孔深比。

![](/media/202407//1720692159.8926666.png)

图 6 麦克风+摄像头安装方式说明

**3.3摄像头+双线性四麦麦克风**

* 主要适用于需要跟机器人**前后方**交互的设备
* 摄像头面向人脸，1套线性四麦麦克风板拾音孔面向正前方安装；1套线性四麦麦克风板拾音孔面向正后方安装。需要注意机器人外壳麦克风预留的孔径孔深比。

![前四后四](/media/202407//1720692159.9082549.png)

1. **交互距离说明：**

按照一般机器人1.2米高度，建议在距离机器人0.5米~1.5米的位置进行语音交互。

![](/media/202407//1720692159.9156659.png)

图 7适用场景示意图

# 产品特点

* 本产品不需要唤醒词，支持人脸直接唤醒
* 本产品使用人脸识别+唇形识别技术，锁定主交互人，不受其他人声音干扰
* 本产品使用四麦窄波束技术，屏蔽波束外各类噪音。
* 本产品可集成讯飞的交互大模型，支持企业文档内容上传，生成自然准确的语音回复。
* 本产品可集成离线虚拟人交互，让用户获得更佳的人机交互体验。
* 本产品可提供私有化部署服务，保障客户数据隐私安全。

# 产品功能

![](/media/202407/2024-07-11_181037_5646450.06232109314659895.png)

表 1 产品功能列表

# 硬件接口说明

![C:\Users\fjyu2\Desktop\野火主机图片\正面接口图.jpg正面接口图](/media/202407//1720692159.9283333.jpeg)

图 6 机器人多模态交互主机正面接口

![C:\Users\fjyu2\Desktop\野火主机图片\反面接口图.jpg反面接口图](/media/202407//1720692159.9386332.jpeg)

图 7 机器人多模态交互主机反面接口

![C:\Users\fjyu2\Desktop\声卡原理图.jpg声卡原理图](/media/202407//1720692159.957506.jpeg)

图 5 USB声卡主板接口示意图

**序号**

**功能说明**

![](/media/202407/2024-07-11_181149_1858890.323896818885143.png)

表 2 USB声卡主板接口说明

# 使用模式

![C:\Users\fjyu2\Desktop\野火主机图片\使用接线图.png使用接线图](/media/202407//1720692159.9638839.png)

图7 串口信息给到上位机示意图

# 硬件尺寸信息

![C:\Users\fjyu2\Desktop\野火主机图片\尺寸图.jpg尺寸图](/media/202407//1720692159.974888.jpeg)

图 8 机器人多模态交互主机尺寸图

![C:\Users\fjyu2\Desktop\微信图片_20230515112334.jpg微信图片_20230515112334](/media/202407//1720692159.979946.jpeg)

图 9 声卡主板尺寸图

![线4](/media/202407//1720692160.0083861.png)

图 10 线性四麦尺寸图

![](/media/202407//1720692160.014729.jpeg)

图 10 环形六麦板尺寸图

![IMG_256](/media/202407//1720692160.0189579.jpeg)

图 11 单目500W近焦摄像头尺寸图

# 主机规格参数

![C:\Users\fjyu2\Desktop\野火主机图片\硬件参数说明.jpg硬件参数说明](/media/202407//1720692160.0382109.jpeg)

图 9 机器人多模态主板硬件规格说明