常见问题与解答

#

# 多模态套件功能使用常见问题：

## 一、设备连接与调试：

### 1: adb如何使用？

需要接typec调试线，https://www.yuque.com/iflyaiui/zzoolv/vefaow?singleDoc\# 《adb安装与使用》。

### 2:开启盒子调试模式后导致内存满了无法进入系统？

第一步：用Type\_c链接上 使用adb命令 adb devices是否有识别。  
第二步：若adb devices没有设备，则插入Type\-c，重启盒子就会有adb链接。  
第三步：有adb 链接后，adb shell进入盒子链接。  
第四步：在adb shell中 输入df 看是不是data目录满载。也是存储100%了。  
第五步：若data是100%储存了，则输入 /data/media/0/AIUI/mmsp/data。  
第六步：cd到此目录下后 ls \-ls查看是否具有很多 data137 dataxxx文件。  
第七步：将这些文件全部删除。  
第八步：删除后cd 到 /data/media/0/AIUI/mmsp/cfg目录下。  
第九步: 输入adb reboot 重启盒子即可

### 3: 设备能识别到人脸，但说话无识别内容？

1、检查下设备是否具备网络，设置 — 高级设置 — dhcp — 查看网络的ip地址是否获取到了；

2、查看下设备的时间是否正确，时间若不正确，鉴权会失败，则无法交互。

### 4: 摄像头黑屏？

1.检查网络是否正常，打开浏览器访问外网

2.打开系统相机是否正常，确保摄像头本身无问题

### 5： 摄像头安装反了，可以通过软件调整角度嘛？

可以，可以修改aiui.cfg中的字段”cam\_rotate”:”0”修改角度，如旋转180度则改为”cam\_rotate”:”180”，重启软件后生效。

### 6: 视频预览界面状态码？

audio\_state：0声卡打开，\-1失败，\-999未初始化状态  
video\_state: 0摄像头打开，\-1失败，\-999未初始化状态  
engine\_state：10010，未授权  
多模态初始化状态，错误码参照文档  
mic\_test:音频写入过程状态码，参照文档

### 7: 错误码信息在哪里查看？

https://www.yuque.com/iflyaiui/zzoolv/igbuol?singleDoc\#
《错误码和解决方案》

### 8: 能不能使用自购的摄像头和麦克风？

多模态算法与摄像头和麦克风强相关，自购摄像头无法保障成像质量和录音质量，需要客户自己保障硬件质量，讯飞不负责整体效果。

### 9: 摄像头范围能不能改？

可以，但是不建议改交互范围，范围过大容易误触发交互，如需修改可以更改aiui.cfg中”cam\_clip\_left”:”0\.2”, “cam\_clip\_right”:”0\.2”, “cam\_clip\_top”:”0\.1”, “cam\_clip\_bottom”:”0\.1”（图片裁剪左侧20%，右侧20%，顶部10%，底部10%）。

### 10: 多人多模态切换成单人多模态？

修改配置文件sdcard/AIUI/mmsp/mmsp.cfg  
“instance\_count”:3 代表3个人  
“instance\_count”:1 代表1个人

### 11: 机器人多模态鲁班猫版的功耗数据？
标准工况功耗（多模态开启，有交互）8w，开机峰值功耗 13w，待机功耗 6w， 以上不含功放。

# 多模态套件开发指南常见问题：

## 一、通信配置与图像传输

### 1:怎么查看AIUI上串口消息的处理接收？

通过`adb logcat -s UART_Manager:*`（adb连接参照[调试](https://aiui-doc.xf-yun.com/project-1/doc-37/#adb调试)）查看AIUI串口的日志。

### 2:串口消息构造后发送给AIUI，为什么没有执行对应操作（如发了合成命令，没有合成播放等）？

没有执行对应操作可能的原因分三种：

> 1.  消息格式构造问题
 > 2.  消息ID重复
 > 3.  消息内容构造问题

对于上述三种原因可以按如下方法依次排查：

>  1.  如果收到了AIUI对消息的确认消息，那说明消息构造没问题，反之应该检查下消息构造的格式是否有问题。
>
 > 2.  因为协议中[消息ID](https://aiui-doc.xf-yun.com/project-1/doc-35/#确认消息)的说明，AIUI会对消息ID与之前接受的200条消息ID进行比较，如果有相同则认为是因确认超时重发的消息，而进行过滤，直接返回对应的确认消息，不会对消息进行解析处理。
>
>     通过`adb logcat -s UART_Manager:*`（adb连接参照[调试](https://aiui-doc.xf-yun.com/project-1/doc-37/#adb调试)）查看AIUI串口的日志。 如果log中有:
>
>         recv same data, send ack drop it !!!
>     那说明消息ID与之前有重复，请检查消息ID的构造逻辑问题。
>
> 3.  消息内容的构造问题，请仔细对照[主控消息](https://aiui-doc.xf-yun.com/project-1/doc-35/#主控消息)内定义的消息内容格式，比如合成消息中的文本内容的编码格式要为utf-8。

### 3:图像卡顿，1秒仅收到2帧图像数据?

语音模组如果未收到确认消息，延迟500ms后才发出下一帧数据，可通过查看语音模组adb logcat \-s VideoSocketClient:\* 日志，观察发送/接收的消息ID的时间是否存在较大间隔，如下图设备端发送完\-91,1的消息id，上位机的确认消息延迟了516ms才收到，需要检测下上位机socket发送一包数据后是否执行flush操作。

![](/media/202505/2025-05-27_134154_9377440.8406412890704654.png)

### 4:图像传输对带宽的要求？

如果传输格式为JPEG压缩格式，使用百兆带宽即可。

## 二、SDK使用与开发适配

### 1: 使用UARTKit SDK时设备初始化失败怎么办？

导致设备初始化失败的原因有两种，第一是设备打开失败，可能由于设备不存在、没有权限；第二是设备设置失败，因为不同上位机的串口配置不一样，UARTKit SDK的串口初始化设置仅在评估板上测试可用，所以需要开发者自己更改UARTKit SDK中设备初始化参数的代码，自行修改测试实现。

### 2: 使用UARTKit SDK串口功能不正常怎么办？

通过`adb logcat -s UART_Manager:*`查看上位机和AIUI模块的串口收发日志，确定收发不成功的问题点。比如一方有发送日志显示，但是另外一方无对应的接收日志，那可以通过将发送TX线通过USB转接线接到电脑上，用一般的串口查看助手，确认数据是不是已发送。可以用[AIUI串口调试助手](http://bbs.xfyun.cn/forum.php?mod=viewthread&tid=26336)测试确定是否是由AIUI数据发送问题。

### 3: 使用UARTKit SDK时日志中频繁出现DropHead，长时间不回调消息接收怎么办？

串口数据结构定义中定义了[同步头](https://aiui-doc.xf-yun.com/project-1/doc-35/#消息格式)，在底层进行数据接收中，会从数据流中匹配同步头，作为一条消息的数据开始标记，如果数据流中一直没有同步头，那就会一直打印drop head的日志。这种情况大部分的原因是上位机接收有误导致，可以打印具体接收的数据和定义的串口数据格式比较确定。可以用[AIUI串口调试助手](http://bbs.xfyun.cn/forum.php?mod=viewthread&tid=26336)测试确定是否是由AIUI数据发送问题。

### 4: 使用UARTKit SDK时底层打印接收日志，但是一直不回调消息接收怎么办？

如上Drop Head的问题，串口接收数据时在寻找到消息数据开始的同步头后，会根据其后的[长度信息](https://aiui-doc.xf-yun.com/project-1/doc-35/#消息格式)接收一定长度的数据，然后校验通过后向上传递，如果接收数据有误，导致长度信息解析过大，那后面所有正常的消息都会当作这条消息的数据一直接收，导致上层长时间没有消息回调接收，即使该消息接收完成，也会因为校验不通过直接丢弃。串口接收数据出错也是导致如上异常的原因，需要排查上位机的串口接收功能。如果只是在音乐、火车、新闻等数据量大的情况下有这个问题，可以通过[串口结果过滤](https://aiui-doc.xf-yun.com/project-1/doc-35/#aiui结果过滤命令)将大数据量的技能消息过滤，只在AIUI模块上处理，不传输到上位机。也可以在底层接收数据时，对解析接收长度做过滤，解析出超过限值的消息直接丢弃，AIUI压缩过后的数据量是6k以内。

### 5: 底板上有两个串口，AIUI使用了UART1，开发程序可以使用UART0吗？

UART0是AIUI的调试串口，不能正常读写，所以UART0不能使用。如果对AIUI本身的串口功能有依赖，第三方应用如果需要读写串口发送自己的数据内容，可以考虑使用[串口自定义](https://aiui-doc.xf-yun.com/project-1/doc-35/#自定义数据)的功能。如果对AIUI本身的串口功能无依赖，AIUI软件内部关系中UARTService负责串口通信，所以将UARTService卸载即可独立读写串口（不推荐）。