语音合成

## 发音人 ##
[发音人列表](https://aiui-doc.xf-yun.com/project-1/doc-93/ "发音人列表")

## 合成分类 ##

- [代码主动合成](https://aiui-doc.xf-yun.com/project-1/doc-23/#主动语音合成)（**推荐**）：开发者主动调用合成接口。

- [语义后合成](https://aiui-doc.xf-yun.com/project-1/doc-23/#语义后合成)：AIUI云端自动调用语音合成（取语义理解的answer字段的text值）。`开启后，所有技能回复都会自动合成，无法控制单个技能不合成`

## 主动合成 ##
 免费发音人：小娟、聆小樱、聆小璇（在AIUI应用配置页面，开启语音合成能力并选择对应发音人进行保存来激活）
### 主动合成集成示例：在线TTS ###
注：一次请求最多合成2000字
~~~ java
// 获取待合成文本
String ttsStr = "我是要合成的文本";
// 转为二进制数据
byte[] ttsData = ttsStr.getBytes("utf-8");
// 构建合成参数，一般包含发音人、语速、音调、音量
StringBuffer params = new StringBuffer();
// 发音人，发音人列表：https://aiui-doc.xf-yun.com/project-1/doc-93/
params.append("vcn=x2_xiaojuan");
// 语速，取值范围[0,100]
params.append(",speed=50");
// 音调，取值范围[0,100]
params.append(",pitch=50");
// 音量，取值范围[0,100]
params.append(",volume=50");

//开始合成
AIUIMessage startTTS = new AIUIMessage(AIUIConstant.CMD_TTS,AIUIConstant.START, 0, params.toString(), ttsData);
mAIUIAgent.sendMessage(startTTS);

//取消合成
AIUIMessage cancelTTS = new AIUIMessage(AIUIConstant.CMD_TTS,AIUIConstant.CANCEL, 0, params.toString(), ttsData);
mAIUIAgent.sendMessage(cancelTTS);

//暂停播放
AIUIMessage pauseTTS = new AIUIMessage(AIUIConstant.CMD_TTS,AIUIConstant.PAUSE, 0, params.toString(), ttsData);
mAIUIAgent.sendMessage(pauseTTS);

//恢复播放
AIUIMessage resumeTTS = new AIUIMessage(AIUIConstant.CMD_TTS,AIUIConstant.RESUME, 0, params.toString(), ttsData);
mAIUIAgent.sendMessage(resumeTTS);

~~~

### 主动合成集成示例：离线TTS ###
将合成发音人资源（联系商务）放到本地加载，修改aiui.cfg配置。合成接口与在线TTS一样。

#### 资源说明
- xtts_common.jet，离线tts通用配置
- xtts_xiaoxue.jet，发音人xiaoxue的资源文件

发音人文件放到 assets 目录下，aiui.cfg配置相对路径。多个发音人用 `; `分割。

#### 离线合成配置参考
aiui.cfg 配置：
~~~ json
"tts":{
	// 使用xtts
    "ent": "xtts",
	// 离线引擎
    "engine_type": "local",
	// 资源类型
    "res_type": "assets",
	//配置发音人
    "res_path": "xtts/xtts_common.jet;xtts/xtts_xiaoxue.jet"
},
~~~

#### 离线发音人
联系讯飞确认

## 语义后合成 ##
AIUI平台打开语音合成开启。异常情况不会合成音频，如nlp语义理解未命中（rc=4）。

可在应用配置中开启：
![](/media/202212/2022-12-31_161927_6717350.7743681885128887.png)

### 音频结果解析 ###
SDK在EVENT\_RESULT回调抛出合成音频和缓存进度，格式为16k 16bit pcm，解析示例：
~~~ java
private AIUIListener mAIUIListener = new AIUIListener() {

@Override
	public void onEvent(AIUIEvent event) {
		
			case AIUIConstant.EVENT_RESULT: {
				try {
					JSONObject bizParamJson = new JSONObject(event.info);
					JSONObject data = bizParamJson.getJSONArray("data").getJSONObject(0);
					JSONObject params = data.getJSONObject("params");
					JSONObject content = data.getJSONArray("content").getJSONObject(0);
					
					String sub = params.optString("sub");
					if ("tts".equals(sub)) {
						if (content.has("cnt_id")) {
							String sid = event.data.getString("sid");
							String cnt_id = content.getString("cnt_id");
							byte[] audio = event.data.getByteArray(cnt_id); //合成音频数据
							/**
							*
							* dts：音频块进度信息，取值：
							* - 0（音频开始）
							* - 1（音频中间块，可出现多次）
							* - 2（音频结束)
							* - 3（独立音频,合成短文本时出现）
							* 
							* 举例说明：
							* 常规合成dts顺序：
							*   0 1 1 1 ... 2
							* 短文本合成dts顺序:
							*   3
							**/
							int dts = content.getInt("dts"); 
							int frameId = content.getInt("frame_id");// 音频段id，取值：1,2,3,...
							
							int percent = event.data.getInt("percent"); //合成进度
						
							boolean isCancel = "1".equals(content.getString("cancel"));  //合成过程中是否被取消
						}
					}
				} catch (Throwable e) {
					e.printStackTrace();
				}
			} break；
			default:
				break;
		}
	}
};
~~~

## 播放模式 ##
1.SDK自动播放（默认）
2.使用第三方播放器
将aiui.cfg的play_mode配置为user（参考[TTS音频播放](https://aiui-doc.xf-yun.com/project-1/doc-23/#音频播放控制)），开发者在`EVENT_RESULT`事件中获取音频后自己播放（参考[音频结果解析](https://aiui-doc.xf-yun.com/project-1/doc-23/#音频结果解析)）。

## 音频播放控制 ##

aiui.cfg配置示例：
~~~ json
{
	"tts": {
		// 播放模式：sdk（sdk播放，默认，只支持安卓），user（开发者自己播放）
		"play_mode": "sdk",
		// 音频缓冲时长：缓冲音频大于buffer_time才播放，默认0ms
		"buffer_time": "0",
		// 音频类型，取值参考AudioManager类，默认值:3
		"stream_type": "3",
		// 播放是否抢占焦点：1（抢占), 0（不抢占，默认）
		"audio_focus": "0"
	}
}
~~~

## 播放状态回调 ##
只支持Android，且播放模式为SDK：
~~~ java
private AIUIListener mAIUIListener = new AIUIListener() {

@Override
	public void onEvent(AIUIEvent event) {

case AIUIConstant.EVENT_TTS: {
				switch (event.arg1) {
					case AIUIConstant.TTS_SPEAK_BEGIN:
						showTip("开始播放");
						break;

case AIUIConstant.TTS_SPEAK_PROGRESS:
						showTip("缓冲进度为" + mTtsBufferProgress +
								", 播放进度为" + event.data.getInt("percent"));     // 播放进度
						break;

case AIUIConstant.TTS_SPEAK_PAUSED:
						showTip("暂停播放");
						break;

case AIUIConstant.TTS_SPEAK_RESUMED:
						showTip("恢复播放");
						break;

case AIUIConstant.TTS_SPEAK_COMPLETED:
						showTip("播放完成");
						break;

default:
						break;
				}
			} break;

default:
				break;
		}
	}
};
~~~

## 其他
部分技能返回播报文本包含`[n1]`、`[k1]`等TTS发音辅助标识，可参考以下方法进行过滤消除。
```java
import java.util.regex.Matcher;
import java.util.regex.Pattern;

class TTSUtil {
    static String REPLACE_NULL = "";
    static String REGEX_TTS_ASSIST_TAG = "\\[[a-z]\\d\\]";
    public static void main(String[] args) {
        System.out.println(removeTTSAssistTag("The [a1] dog says meow."));
    }
    public static String removeTTSAssistTag(String text){

Pattern regex = Pattern.compile(REGEX_TTS_ASSIST_TAG);
        Matcher input =  regex.matcher(text);
        text =  input.replaceAll(REPLACE_NULL);
        return text;
    }
}
```