机器人超脑平台
平台简介
成为超脑平台用户
讯飞超脑板
产品规格
开发指南
标准协议
使用手册
环境准备
数据采集
应用算法
应用实例
镜像导出
镜像烧录
错误码
算法配置表
机器人多模态交互开发套件
多模态交互套件产品白皮书
多模态交互套件快速体验
多模态套件平台功能使用手册
多模态交互套件开发手册
常见问题与解答
智能语音背包
智能语音背包产品白皮书
智能语音背包产品规格书
智能语音背包产品快速体验
智能语音背包产品开发手册
联系方式
服务条款
超脑平台服务协议
超脑平台隐私政策
本文档使用 MrDoc 发布
-
+
首页
多模态交互套件产品白皮书
### 一、产品概述 本产品是一款基于多麦克风阵列\+人脸检测的整体语音解决方案。使用Rockchip RK3588S做为主芯片（4核A76\+4核A55）,采用8nm制程工艺,主频最高2\.4GHz,集成ARM Mali\-G610 MC4 GPU,支持8K视频编解码和8K显示输出,超强影像处理能力,支持多摄像头输入,支持多频异显。NPU算力高达6\.0Tops，支持线性四麦，环形六麦，双线性四麦三种收音方式，适用于交互距离在0\.5米\~1\.5米的人形机器人，服务机器人等交互场景。 ### 二、产品功能 | 功能 | 特性 | 备注 | | --- | --- | --- | | 回声消除 | 回声消除\-25dB | 标配 | | 多模态降噪 | 噪声抑制\-10dB | 标配 | | 人脸唤醒 | 检测唇形，免语音唤醒，人脸检测准确率达99\.99% | 标配 | | 在线识别 | 支持中英文和方言识别 | 标配 | | 语义理解 | 支持自定义技能，提供100多个官方技能 | 标配 | | 语音合成 | 支持中英文和方言合成 | 标配 | | 串口通信 | 支持串口发送指令给上位机 | 标配 | | 视频输出 | 通过千兆网口输出视频内容给上位机使用 | 标配 | | 大模型交互 | 可接入星火大模型，让交互更自然 | 选配功能 | | 超拟人合成 | 可模拟人类的口语化现象、情感、停顿等细节信息 | 选配功能 | | 语音服务私有化部署 | 保障企业信息安全 | 选配功能 | 表 1 产品功能列表 ### 三、产品实物图 [3588主板.zip](/media/attachment/2025/05/3588%E4%B8%BB%E6%9D%BF.zip) [摄像头.zip](/media/attachment/2025/05/%E6%91%84%E5%83%8F%E5%A4%B4.zip) [usb声卡.zip](/media/attachment/2025/05/usb%E5%A3%B0%E5%8D%A1.zip) | 编号 | 类型 | 数量 | | --- | --- | --- | | 1 | RK3588s板卡 | 1个 | | 2 | 电源线 | 1个 | | 3 | 声卡 | 1个 | | 4 | 麦克风（线性四麦/双线性四麦/环形六麦） | 1个（选配，3选1） | | 5 | 麦克风连接线 | 根据麦克风而定（线性四麦适配1根，双线性四麦适配2根，环形六麦适配2根） | | 6 | 声卡usb线 | 1根 | | 7 | 摄像头（近焦/远焦） | 1个（选配，2选1） | | 8 | 摄像头连接线 | 1根 | | 9 | 声卡回采线 | 1根 | AIUI多模态交互产品单套配件（依次编号）：     图 1 机器人多模态交互产品主机  图 2 声卡主板\+线性4麦麦克风实物图（可选一）   图 3 声卡主板\+双线性6麦麦克风实物图（可选二）  图 4 声卡主板\+环形6麦麦克风板实物图（可选三）  图 5 单目500远焦摄像头（可选一）  图6 近焦摄像头（可选二） ### 四、产品特点 不需要唤醒词，支持人脸直接唤醒 使用人脸识别\+唇形识别技术，锁定主交互人，不受其他人声音干扰 使用四麦窄波束技术，屏蔽波束外各类噪音。 可集成讯飞的交互大模型，支持企业文档内容上传，生成自然准确的语音回复。 可集成离线虚拟人交互，让用户获得更佳的人机交互体验。 可提供私有化部署服务，保障客户数据隐私安全。 ### 五、适用场景 1\.摄像头\+线性四麦麦克风 主要适用于需要跟机器人正前方交互的设备。 摄像头面向人脸，线性四麦麦克风板拾音孔面向正前方安装。需要注意机器人外壳麦克风预留的孔径孔深比。  图7 线形麦克风与摄像头安装方式说明 2\.摄像头\+环形六麦麦克风 主要适用于需要跟机器人360°交互的设备。 摄像头面向人脸，环形六麦麦克风板拾音孔面向上方安装。需要注意机器人外壳麦克风预留的孔径孔深比。  图 8 环形麦克风\+摄像头安装方式说明 3\.摄像头\+双线性四麦麦克风 主要适用于需要跟机器人前后方交互的设备。 摄像头面向人脸，1套线性四麦麦克风板拾音孔面向正前方安装；1套线性四麦麦克风板拾音孔面向正后方安装。需要注意机器人外壳麦克风预留的孔径孔深比。  交互距离说明： 按照一般机器人1\.2米高度，建议在距离机器人0\.5米\~1\.5米的位置进行语音交互。  图 9适用场景示意图 ### 六、硬件接口说明  图 10 机器人多模态交互主机正面接口  图 11 机器人多模态交互主机反面接口  图 12 USB声卡主板接口示意图 | 序号 | 功能说明 | | --- | --- | | ① | 调试串口接口 | | ② | wafer USB接口 | | ③ | micro USB接口 | | ④ | 独立电源接口 | | ⑤ | 麦克风信号接口 | | ⑥ | 麦克风信号接口 | | ⑦ | 参考信号接口 | 表 2 USB声卡主板接口说明 ### 七、使用模式  图13 网口信息给到上位机示意图 ### 八、硬件尺寸信息  图 14 机器人多模态交互主机尺寸图  图 15 声卡主板尺寸图  图 16 线性四麦尺寸图  图 17 环形六麦板尺寸图  图 18 单目500W近焦摄像头尺寸图 | 硬件模块 | 详细参数 | | --- | --- | | 电源接口 | 5V@4A直流输入，Type\-C接口（无数据传输能力） | | 主芯片 | RK3588S(四核A76\+四核A55、Mali\-G610、6T算力) | | 内存 | 4/8/16GB，LPDDR4X（其它存储需求可定制） | | 存储 | 0/32/64/128GB,eMMC(其它存储需求可定制) | | 以太网 | 10/100/1000M自适应以太网口 | | HDMI | Mini\-HDMI2\.1显示器接口，支持与其他屏幕多屏异显 | | MIPI\-DSI | MIPI屏幕接口\*2，可插野火MIPI屏幕，支持与其他屏幕多屏异显 | | MIPI\-CSI | 2 \* 15Pin BTB摄像头接口\*3（正面\*1，背面\*2），可插野火MIPI摄像头 | | USB2\.0 | Type\-A接口\*1（HOST） | | USB3\.0 | Type\-A接口\*1（HOST）;Type\-C接口\*1（OTG），为固件烧录接口，支持DP协议，可与其他屏幕多屏异显 | | PCle接口 | Mini\-PCle接口，可配合全高或半高的WIFI网卡，4G模块或其他Mini\-PCle接口模块使用 | | SIM\+TF卡座 | 可同时插SIM卡合Micro SD(TF)卡，支持TF卡启动系统，最高支持512GB | | 40Pin接口 | 兼容树莓派40Pin接口，支持PWM、GPIO、I²C、SPI、UART功能 | | Debug串口 | 默认参数1500000\-8\-N\-1 | | 音频 | MIC IN\*1,电容咪头；耳机输出\+麦克风输入2合1接口\*1 | | 按键 | 电源按键、MaskRom按键、Recovery按键 | | 红外接收头 | 支持红外遥控功能 | | RTC | RTC电源插座\*1 | | 风扇接口 | 支持安装5V风扇散热 | 图 19 机器人多模态主板硬件规格说明
admin
2025年6月9日 13:53
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码