實(shí)時(shí)語音翻譯 SDK 簡介

概述

(1) 概念解釋

實(shí)時(shí)語音翻譯：可實(shí)現(xiàn)對連續(xù)音頻流的實(shí)時(shí)識別，實(shí)時(shí)識別和翻譯語音輸入的內(nèi)容，轉(zhuǎn)換成文本信息并返回對應(yīng)文字流。

(2) 說明

Hi，您好，歡迎使用有道智云實(shí)時(shí)語音翻譯 Android SDK。如果您想快速體驗(yàn)服務(wù)，建議您前往實(shí)時(shí)語音翻譯體驗(yàn)中心 或者在體驗(yàn)中心右下側(cè)找到小程序二維碼，掃描進(jìn)行體驗(yàn)。

本文檔主要針對需要集成實(shí)時(shí)語音翻譯服務(wù) Android SDK 的開發(fā)工程師，詳細(xì)描述有道智云實(shí)時(shí)語音能力及集成過程。

如果您有與我們商務(wù)合作的需求，可以通過一下方式聯(lián)系我們：

商務(wù)郵箱： AIcloud_Business@corp.youdao.com

如果您對文檔內(nèi)容有任何疑問，可以通過以下幾種方式聯(lián)系我們：

客服 QQ：1906538062

智云翻譯技術(shù)交流 QQ 1 群: 652880659

智云翻譯技術(shù)交流 QQ 2 群: 669384425

智云翻譯技術(shù)交流 QQ 3 群: 807539209

智云翻譯技術(shù)交流 QQ 4 群: 936752411

聯(lián)系郵箱： zhiyun@corp.youdao.com

溫馨提示： 本文檔主要針對開發(fā)人員，接入測試前需要在后臺創(chuàng)建 Android 應(yīng)用，并綁定實(shí)時(shí)語音翻譯實(shí)例；如果您還沒有，請按照新手指南 操作。 平臺向每個(gè)賬戶贈送 50 元的體驗(yàn)金，供用戶集成前測試所用，具體資費(fèi)規(guī)則詳見 實(shí)時(shí)語音翻譯服務(wù)報(bào)價(jià) 。

###功能介紹

有道智云實(shí)時(shí)語音翻譯 SDK 是有道智云開放平臺提供的云服務(wù)之一，是有道在線實(shí)時(shí)語音翻譯接口的一種實(shí)現(xiàn)，支持實(shí)時(shí)語音翻譯和整句翻譯。

###兼容性

支持設(shè)備：運(yùn)行了 Android 4.0.3 及以上系統(tǒng)的 Android 設(shè)備

實(shí)時(shí)語音翻譯 SDK 集成指南

集成前提

開始集成 SDK 之前開發(fā)者需要登錄有道智云平臺 ， 創(chuàng)建應(yīng)用獲取應(yīng)用 ID（或者通過運(yùn)營人員獲取應(yīng)用 ID），以便使用實(shí)時(shí)語音翻譯。

集成步驟

1. SDK 包導(dǎo)入

請將 ydasr-release.aar 拷貝到 libs 目錄下，并將以下代碼添加到 app 的 build.gradle 中：

apply plugin: 'kotlin-android'
apply plugin: 'kotlin-android-extensions'

android {
    ...
    repositories {
        flatDir {
            dirs 'libs'
        }
    }

    compileOptions {
        sourceCompatibility JavaVersion.VERSION_1_8
        targetCompatibility JavaVersion.VERSION_1_8
    }
}
dependencies {
    ...
    implementation "android.arch.lifecycle:extensions:$lifecycleVersion"
    implementation "android.arch.lifecycle:common-java8:$lifecycleVersion"
    implementation "com.squareup.okhttp3:okhttp:$okHttpVersion"
    implementation "com.google.code.gson:gson:$gsonVersion"
    implementation "org.jetbrains.kotlin:kotlin-stdlib:$kotlinVersion"

    implementation (name:'ydasr-release', ext:'aar')

    kapt "android.arch.lifecycle:compiler:$lifecycleVersion"
}

buildscript {
    ext {
        // App dependencies
        gsonVersion = '2.8.5'
        kotlinVersion = '1.3.0'
        lifecycleVersion = '1.1.1'
        okHttpVersion = '3.11.0'
    }
    dependencies {
        ...
        classpath "org.jetbrains.kotlin:kotlin-gradle-plugin:$kotlinVersion"
    }
}

2.AndroidManifest 配置

添加權(quán)限

<uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />
<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />
<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />
<uses-permission android:name="android.permission.BROADCAST_STICKY" />
<uses-permission android:name="android.permission.BLUETOOTH" />

其中 RECORD_AUDIO 和 WRITE_EXTERNAL_STORAGE 權(quán)限需要動態(tài)申請

3. 代碼混淆配置

代碼混淆文件 proguard-project.txt，添加如下內(nèi)容

# Gson
-keepattributes Signature
-keepattributes *Annotation*
-keep class sun.misc.Unsafe { *; }
-keep class com.google.gson.stream.** { *; }

#okhttp3
-dontwarn com.squareup.okhttp3.**
-keep class com.squareup.okhttp3.** { *;}
-dontwarn okhttp3.**
-dontwarn okio.**
-dontwarn javax.annotation.**
-dontwarn org.conscrypt.**

#lifecycle
-keep public class android.arch.lifecycle.** {
    public protected *;
}
-keepclassmembers class ** {
    @android.arch.lifecycle.OnLifecycleEvent public *;
}

#kotlin
-dontwarn kotlin.**

#AsrSdk
-keep class com.youdao.ydasr.** { *; }
-keep interface com.youdao.ydasr.** { *; }
-keep class com.youdao.audio.** { *; }
-keep interface com.youdao.audio.** { *; }

使用說明

// 創(chuàng)建asr返回接口，如果不想實(shí)現(xiàn)所有接口，可以使用實(shí)現(xiàn) OptionalAsrListener
private AsrListener mAsrListener = new AsrListener() {
    // 開始識別回調(diào)
    @Override
    public void onAsrStart() {}

    // 重連后再次連接成功回調(diào)
    @Override
    public void onAsrRestart() {}

    // 結(jié)束識別回調(diào)
    @Override
    public void onAsrStop() {}

    // 正在重連提示
    @Override
    public void onAsrReconnecting() {}

    // 錯誤回調(diào)
    @Override
    public void onAsrError(@NotNull AsrResultCode error) {

    // ASR結(jié)果回調(diào) 識別結(jié)果：result.getResult().getContext()
    // 翻譯結(jié)果：result.getResult().getTranContent()
    @Override
    public void onAsrNext(@NotNull AsrResult result, boolean isPartial) {}

    // 音量變化回調(diào)
    @Override
    public void onAsrVolumeChange(float volume) {}

    // 后端點(diǎn)靜音回調(diào)
    @Override
    public void onAsrSilentEnd() {}

    // 前端點(diǎn)靜音回調(diào)
    @Override
    public void onAsrSilentStart() {}

    // 連接上藍(lán)牙麥克風(fēng)提示
    @Override
    public void onBluetoothAudioConnected() {}

    // 藍(lán)牙麥克風(fēng)斷開提示
    @Override
    public void onBluetoothAudioDisconnected() {}
};

// 在onCreate中調(diào)用，創(chuàng)建AsrManager，并注冊生命周期觀察
asrParams = new ASRParams.Builder()
        .transPattern(transPattern) //翻譯模式 支持實(shí)時(shí)(stream)和整句(sentence)翻譯
        .timeoutStart(5000L)
        .timeoutEnd(10000L)
        .sentenceTimeout(3000L)
        .connectTimeout(10000L)
        .isWaitServerDisconnect(true)
        .build();
mAsrManager = AsrManager.getInstance(this, "your appKey", asrParams, mAsrListener);
getLifecycle().addObserver(mAsrManager);

//設(shè)置是否添加頭文件
mAsrManager.addWavHead = true;

//設(shè)置源語言和目標(biāo)語言 FROM源語言，TO目標(biāo)語言,當(dāng)前已支持多達(dá)80余種語言的互譯
mAsrManager.setASRLanguage(from, to);

//如果是本地已經(jīng)錄制好的文件不需要加頭，其余情況需要添加頭文件
mAsrManager.addWavHead = true;

// 開始連接（注：先連接，后插入數(shù)據(jù)流）
mAsrManager.startConnect();

// 停止識別
mAsrManager.stop();

// 數(shù)據(jù)實(shí)時(shí)翻譯
mAsrManager.insertAudioBytes(bytes);

注：音頻目前僅支持 16k 采樣率，通過手機(jī)錄音獲取的音頻需要添加頭文件，本地文件不需要頭文件

support library 26.1.0 以下處理辦法

針對 support library 26.1.0 以下，請使用這個(gè)版本去除 lifecycle 依賴版本

同時(shí)需要去除 lifecycle 依賴：

dependencies {
    ...
    // implementation "android.arch.lifecycle:extensions:$lifecycleVersion"
    // implementation "android.arch.lifecycle:common-java8:$lifecycleVersion"
    implementation "com.squareup.okhttp3:okhttp:$okHttpVersion"
    implementation "com.google.code.gson:gson:$gsonVersion"
    implementation "org.jetbrains.kotlin:kotlin-stdlib:$kotlinVersion"
    // implementation (name:'ydaudiosdk-release', ext:'aar')
    implementation (name:'ydasrsdk-release', ext:'aar')
    // kapt "android.arch.lifecycle:compiler:$lifecycleVersion"
}

并在調(diào)用過程中去除

// getLifecycle().addObserver(mAsrManager);

并添加：

@Override
protected void onDestroy() {
    mAsrManager.destroy();
    super.onDestroy();
}

識別結(jié)果說明

支持語言

錯誤代碼列表

關(guān)于 Demo 中本地文件識別命名規(guī)則說明

將 wav 后綴文件儲存至手機(jī)存儲的 ydasrDemo/temp 目錄下，將文件名改成對應(yīng) from 語言的對應(yīng)參數(shù)時(shí)，可自動根據(jù)所選 from 語言種類自動選擇相對應(yīng)的音頻文件。

例如：該目錄下存在 da.wav 的音頻文件。當(dāng)選擇 from 語言為丹麥語（丹麥）時(shí)，點(diǎn)擊翻譯本地文件按鈕后，自動開始翻譯 da.wav 文件。

版本更新記錄