应用算法

## 3.1 手势识别
目前一共支持以下手势：拇指向上，拇指向下，手势V，手势6，手势8，停止手势，食指左右摆动，手掌左右摆动，顺时针旋转食指，逆时针旋转食指，向左挥手，向右挥手.
前置条件：启动usb摄像头 (ros2 run usb_camera usb_camera_node)
启动方式：ros2 launch aikit_cv cv.launch.py
查看话题名称：ros2 topic list

![](/media/202306/2023-06-21_135523_3142010.7567707104081994.png)

可以通过ros2 topic echo /r_cv/result来查看手势识别结果,也可自行订阅该节点查看
查看该topic的消息类型：ros2 topic info /r_cv/result

![](/media/202306/2023-06-21_135532_5619740.7583430166382208.png)

查看该消息格式:  ros2 interface show aibot_interfaces/msg/AIKitMsgsResult

![](/media/202306/2023-06-21_135544_3897280.3416245180130001.png)

## 3.2 智能语音
支持多种音频采集方式，需要搭配不同的配件使用，常见的有：
	1.讯飞USB声卡(线性四麦环形六麦 链接:)；(需要使用超脑板降噪唤醒算法
2.讯飞R818降噪板(线性四麦，环形六麦 链接);(降噪唤醒运行在R818板子上,超脑板只提供语音交互)
R818降噪板启动方式：ros2 launch aibot_r818 r818.launch.py

![](/media/202306/2023-06-21_135558_5239530.6939851125180757.png)

/r_vtn/event 为唤醒、免唤醒事件;
/r_vtn/iataudio为降噪后音频.
没有原始音频，若想查看原始音频，请参考R818降噪板相关文档.
3.开发者自购的其他麦克风产品(超脑板只提供语音交互能力)

1.语音降噪唤醒、免唤醒控制、声源定位.
(使用讯飞USB声卡)
小车默认搭载的是环形六麦阵列麦克风和环形六麦算法.
免唤醒词(前后左右等控制目前没有)
前置条件：启动录音
录音使用portaudio库录音 
首先使用lsusb 查看录音设备名:

![](/media/202306/2023-06-21_135627_9228090.39637375332427005.png)

在audio_capture.launch.py文件中修改mic_name值:

![](/media/202306/2023-06-21_135637_7410560.34631771149964785.png)

启动录音命令：ros2 launch audio_capture audio_capture.launch.py 
启动唤醒命令: ros2 launch aibot_vtn vtn.launch.py

![](/media/202306/2023-06-21_135646_3860600.7236474544554556.png)

/raw/audio为原始音频;
/r_vtn/event 为唤醒、免唤醒事件;
/r_vtn/iataudio为降噪后音频.

![](/media/202306/2023-06-21_135654_8333310.01629430796451481.png)

唤醒事件结果如上,angle 为声源角度.

2 语音交互	
1.	若使用aiui语音交互，需要在官网上创建应用并配置所需的技能.
详见链接： 
2.	接口说明详见aikit文档.
3.	启动命令 ros2 launch aikit_aiui aiui.launch.py 
4.	语音交互的结果通过topic: /r_aiui/result下发

![](/media/202306/2023-06-21_135716_2471890.9358767939620016.png)

下发结果有识别、语义以及语义合成音频,也可以主动调用websocket接口合成语义结果。
代码示例在aibot_user_client功能包 AIKitAiui.cpp源文件里

## 3.3 IOT平台
1.平台提供了设备管理、数据管理、应用开发、服务支持等功能，支持多种设备、协议、接口、数据格式等，可以灵活地扩展和定制。同时，该平台还提供了丰富的开发工具、API、SDK 等，支持应用程序的开发、测试、部署和运行，以及应用程序与设备、数据之间的交互和集成
2. 接口文档详见aikit文档
3. 启动命令 ros2 launch aikit_iot iot.launch.py
4.通过topic /r_iot/result 和/r_iot/write来和iot进行通信，

![](/media/202306/2023-06-21_135739_1901180.40241216007479075.png)

代码示例在aibot_user_client功能包RobotIot.cpp源文件里.

## 3.4 XRTC平台
平台提供了一种实时音视频通信服务，依托先进的弱网对抗、编解码及音视频处理技术，提供高品质、低延时、高清流畅、简单易用、安全稳定的实时音视频通信服务。该平台适用于在线教育、视频监控、视频会议、远程医疗、远程庭审等场景，帮助用户实现高效便捷的实时音视频通信。链接：
2. 接口文档详见aikit文档
3. 启动命令 ros2 launch aikit_xrtc xrtc.launch.py
4.通过service /r_xrtc/room 进行推流. 详见aikit文档说明
代码示例在aibot_user_client功能包RobotXrtc.cpp源文件里

## 3.5 启动说明
为了统一管理，创建了一个launcher功能包.通过launcher/config/AIBot.json

![](/media/202306/2023-06-21_135806_2442280.8695642019680456.png)

根据需求需要启动哪些功能.
初始化流程:通过service /r_launcher/init 将参数发送到launcher节点.

![](/media/202306/2023-06-21_135818_8926800.6848987142048372.png)

(代码示例在aibot_user_client功能包RobotInit.cpp源文件里.)
uid是设备唯一ID;
appid/appkey/appsecret是创建应用时生成的重要参数.
launcher节点收到参数之后，会将参数分别转发到已启动的功能节点上

![](/media/202306/2023-06-21_135829_2986560.8773794084771765.png)

代码在launcher/src/ LauncherNode.cpp文件里.
启动命令 ros2 launch launcher launcher.launch.py
启动客户端:ros2 launch aibot_user_client user_client.py(这个是客户需要完善的，这个节点只是实现了基础通信,客户自己的业务需求需要自己添加)