腾讯云游戏多媒体解决方案
fangka 2019-06-27
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~
本文由云计算小编 发表于云+社区专栏《QQ 炫舞手游》是腾讯游戏推出的音舞类游戏。据App Annie 数据显示， 自发布以来《QQ 炫舞手游》一直保持音舞类游戏排名第1，深受广大玩家欢迎。《QQ 炫舞手游》的一大特色玩法就是游戏内的K 歌功能， 玩家可以通过休闲大厅创建K 歌房， 选择伴奏进行K 歌。游戏多媒体引擎GME 的高音质、低延时及强网络抗性，为《QQ 炫舞手游》的音乐听感和K 歌效果提供了良好的支持。 GME 可以保证玩家在房间内播放背景音乐的同时， 实时语音沟通依然清晰流畅；当有玩家在房间内实时K 歌时， 听众听到的K歌效果也能保持极高的音质和极低的延时， 提供了良好的线上K 歌体验。那么，《QQ 炫舞手游》背后的音视频到底是什么呢？今天这篇文章将揭开音视频的神秘面纱。
腾讯音视频实验室
说到音频，就不得不说腾讯音视频实验室了，腾讯音视频实验室，成立于2010年，八年间专注于音视频通信技术的前瞻性研究，包括全球实时音视频网络优化、音视频编解码前沿算法研究、计算机视觉图像处理、基于AI的音频语音增强、声音美化及音视频质量评测等。在服务于腾讯社交体系下的海量用户同时，在实时音视频通信、图像处理和音视频处理等技术领域积累了十几年的研究经验，拥有行业领先的技术水平。目前已为行业数百个产品提供了音视频技术支持与服务，如QQ电话、腾讯云、企业微信、QQ空间、全民K歌、快手、斗鱼、虎牙、蘑菇街等。
游戏实时语音解决方案 GME
游戏多媒体引擎（Game Multimedia Engine，简称：GME）是一个专门针对游戏场景定制的游戏多媒体引擎 SDK，支持休闲社交类、竞技游戏类（包括 MMORPG、MOBA、FPS 等类型）、大型国战等多种游戏类型，提供了包括多人实时语音、实时视频、语音消息、语音转文本等功能。
功能介绍
实时语音
麦序模式
用户轮流语音上麦，音质高流畅性好，适用于语音狼人杀等场景。
自由通话模式
支持多人同时讲话，超低延迟，适用于多人组队开黑等竞技游戏场景。
指挥模式
针对一对多指挥作战、主播语音陪玩等场景，适合大型国战类游戏。
语音消息和语音识别
支持录制语音消息发送到游戏各频道并实时转换为文本消息这功能，音质清晰，语音识别准确率高。
产品优势
| 我们的优势 | 为什么选择腾讯云游戏多媒体引擎 |
|---|---|
| 游戏场景定制 | 针对游戏场景对音视频编解码器进行深度优化，使其在码率、延时、系统资源消耗等关键技术指标达到业界领先 |
| 顶级基础设施 | 自建万兆云机房，配备 20 线 BGP 顶级网络，800+ 节点让玩家畅享稳定而极速的体验 |
| 专业网络接入 | 复用 QQ 接入部署和调度策略，有效解决弱网络环境下的连通问题，连通率高达 99.995% |
| 超强服务承载 | 承载 QQ 服务支撑能力，支持亿级用户在线，亿级群数规模；实时监控，异地容灾，智能调度，保证服务安全可靠 |
| 超低接入门槛 | 通用游戏框架全覆盖，四行代码极速接入 |
| 功能完善全面 | 提供游戏场景常用功能：多人语音、实时视频、语音消息、语音转文本等多种功能 |
GME 超低接入门槛
为方便开发者接入腾讯云游戏多媒体引擎产品，这里向您介绍适用于游戏多媒体引擎 SDK 的接入指引。
使用 GME 有以下五个步骤：
接入 SDK
接入 SDK 需要使用腾讯云提供的 appid 及相关权限密钥。即应用管理列表中的 AppID 及 应用设置中的鉴权信息模块。
- 接入实时语音时候会使用鉴权信息模块中的权限密钥。
- 接入离线语音时候会使用鉴权信息模块中的下载的公私钥。
更多平台相关配置请参考各平台工程配置文档。
GME 应用场景
电子竞技
在电子竞技类游戏中，争斗局势瞬息万变，相同阵营的玩家之间，需要根据战局实时沟通对敌策略。通过腾讯云实现的超低时延、流畅优先的实时游戏语音自由对讲，可以帮助玩家间更好的进行沟通，体会对战游戏的乐趣。
国战游戏
国战游戏中的典型代表为 MMORPG，此类游戏中涉及团队副本、组队、帮派、国战指挥等多种玩法，对语音的时延要求也较高，腾讯云游戏多媒体引擎针对此类场景，实现实时自动上下麦及超低时延语音通话，高度适配超多人在线的国战类游戏玩家语音通话需求。
休闲游戏
在棋牌、K 歌、音乐等休闲类的游戏中，语音消息与语音对讲也是必不可少的需求，同时，部分休闲类游戏中，会有美女主播为玩家播放歌曲，或者通过歌曲伴奏进行 K 歌游戏。腾讯云提供的实时音视频能力保证了好友之间实时聊天沟通，同时提供包括耳返、变声的趣味化能力，保证最佳的休闲游戏体验。
狼人杀
目前，桌游类游戏狼人杀已经从传统的饭局延伸到了互联网，在狼人杀游戏中，玩家在开始前热场寒暄，在进行中按顺序发言，在结束后，盘点和回顾，这些环节，都离不开实时语音乃至视频的交互。腾讯云游戏多媒体引擎产品提供画面清晰度与音质优先的实时音视频服务，针对狼人杀场景特别定制，满足玩家所有音视频交互需求。
基于语音的游戏内创新娱乐玩法
GME 支持基于位置的3D实时语音
2017年一款游戏《绝地求生：大逃杀》，通过创新的百人大逃杀、胜者吃鸡玩法，短时间获得了全球玩家的青睐和追捧。除了游戏玩法本身的创意之外，游戏对于实时语音玩法也进行了颠覆式创新。游戏过程中玩家可以设置【全体模式】向附近的玩家喊话、挑衅、搭讪，这种语音模式可以与陌生人进行很有趣的沟通和互动。社交媒体上已经有很多用户基于这种语音模式，创作了很多趣味视频。
而引入3D位置语音之后，玩家在喊话过程中会暴露自己的方位和位置信息，玩家的声音也会根据位置变化而实时改变。可以说，3D音效让《大逃杀》这种玩家间的沟通和战斗体验更真实，感受更加沉浸式、更加身临其境的吃鸡玩法。
我们的3D音效技术，就是利用“头部关联传输函数”（HRTF 算法），对双耳之间的时间差异和频谱差异进行建模，形成有声源方位感的声音。同时我们还通过采样混响填补HRIR缺失的环境反射声，从而构建完整的声场模型。比如在一个小房间里，不仅可以听到两个人之间的对话，还可以听到声音从墙壁中反射的效果，增加沉浸感。
GME 支持游戏内K歌体验，提供变声趣味玩法
《QQ炫舞》手游由端游原班人马打造，产品的核心体验与端游版本一致。此外，《QQ炫舞》手游还推出了弹珠模式、游戏内实时K歌房等多种独创玩法。然而在创新的同时也带来了一些音频技术上的难题：比如K歌时人声、伴奏与歌词的对齐，K歌场景下多人同时语音时，如何做到声音清晰且避免回音等。
游戏语音多应用在实时语音、多人会话、发送语音消息等场景，而《QQ炫舞》手游的实时K歌玩法在音频处理上的复杂度上远远超出了正常范畴。正常情况下，玩家在K歌过程中，是听到伴奏之后再演唱，声音由麦克风收录后再输出。但由于游戏场景中系统采集播放模块存在延时，尤其是Android系统机型多、采集播放延时大等因素的影响，如果仅按照正常模式来进行合成，会出现明显的人声、伴奏和歌词不对齐的情况。一旦出现这种情况，再美妙的天籁歌声也会变成“车祸现场”，给玩家带来非常糟糕的游戏体验。
这些技术难题对于《QQ炫舞》手游来说，无疑是一项重量级挑战。腾讯音视频实验室提供的游戏多媒体引擎GME（Game Multimedia Engine）作为游戏内K歌玩法和多人实时语音的解决方案，使得《QQ炫舞》手游呈现出的效果超乎预期：
凭借语音效果好、接入门槛低的方案特点，GME覆盖了休闲社交类、MOBA类、MMORPG等多种游戏类型，提供实时语音、语音消息、语音转文本等功能。如今，通过针对游戏类型、游戏场景的深度优化，GME积累了深厚的技术底蕴，同时通过覆盖超过400+游戏产品的技术支持，不断积累技术经验，为玩家打造畅爽的游戏语音体验，展示了领先业内的技术实力。
游戏多媒体引擎 GME产品概述：https://cloud.tencent.com/document/product/607/10835
游戏多媒体引擎 GME接入指引：https://cloud.tencent.com/document/product/607/10782
游戏多媒体引擎 GME SDK文档：https://cloud.tencent.com/document/product/607/15232
问答
相关阅读
此文已由作者授权腾讯云+社区发布，原文链接：https://cloud.tencent.com/dev...
欢迎大家前往腾讯云+社区或关注云加社区微信公众号（QcloudCommunity），第一时间获取更多海量技术实践干货哦~
海量技术实践经验，尽在云加社区！ https://cloud.tencent.com/dev...
