浅析3D音频技术拯救VR的寒冬

~

浅析3D音频技术拯救VR的寒冬

　　虚拟现实技术，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。下面是我整理的浅析3D音频技术拯救VR的寒冬，一起来看看吧。

　　最近人们常说：VR的寒冬来了。最近看到一句非常好的描述：“一度承载着创业者和投资人太多期待与热情的VR行业，经历了如过山车般的一年。”核心技术瓶颈突破之前，VR还将在泡沫收缩过后进行理智思考。而3D音频，作为VR产业的关键性技术节点，值得在今天被关注。我在此为大家带来3D音频技术拯救VR的寒冬的理性分析。

　　在百度上搜索“VR寒冬”有1,660,000个结果。

　　《资本变脸：6个月，VR从狂欢到惨淡》(极客公园，2016年09月07日)，《吸引了无数资本和创业者的VR行业，似乎已进入寒冬》(中国企业家，2016年08月26日)，《VR创业公司的寒冬来了?听听资本大咖怎么说!》(网易新闻，2016年05月27日)，《小心被套!VR将迎来寒冬》(搜狐新闻，2016年05月11日)……

　　人们犹记得2015年下半年到2016年年初的VR热：从创业者到投资人，大家都对VR有着无限的热情与希望。而从计算机背景出生转行做VR的人真不在少数：他们正是看准了这块“热土”，从大公司走出，一头钻进VR行业。

　　行业缺少优质标的，关键性技术节点远未突破，VR如同一个牙牙学语的婴儿，尚在襁褓之中，远未成熟。与其说VR凛冬已到，不如说之前的泡沫正在合理地被挤破。

　　这里的“关键性技术节点”其中之一，就是空间音频技术。在今天，人们更愿意叫它3D音频。

　　正如著名VR制作公司Jaunt的音频首席工程师亚当·桑默说的：“(在VR这件事上面)，听觉占了五成，视觉占剩下五成。”

　　听觉决定了人类对空间的定位、对物体距离的感知等等。视觉给出一个线索，听觉则去证实这个线索是否真实存在。如果少了视觉的沉浸感，那么一切画面的真实性就荡然无存。不解决听觉问题，虚拟现实就不能成为虚拟现实。可以这么说，3D音频决定了我们念叨着的VR时代是否真正到来。

　　首先科普一下3D音频

　　什么是3D音频?简单来说，3D音频是对声音最逼真的模拟技术，能让听众完全还原到与现场相似的声场。类似的叫法还有全景声方案、Immersive Audio(沉浸式音频)。你能到完全听到逼真到“现实”的声音，而不是“现实主义”的。

　　目前世界范围内最成熟的空间音频制作公司之一，VisiSonics的创始人之一拉玛尼·杜瑞斯沃米有一句话：“当你听到的声音是极度真实的时候，耳机就消失了。”

　　人耳对声音信号有一套自己的分析系统，来得以对声音进行分析与定位。从空间任意一点传到人耳(鼓膜前)的信号都可以用一个滤波系统来描述，音源+滤波器(传递函数)得到的就是声音到达两耳鼓膜前的信号。

　　我们不必关心声音是如何传递到双耳的，而只需要知道：音源与到达我们双耳之前的信号是有差别的;并且我们的左耳和右耳听到的声音是不一样的。这可能是源于我们的进化，视觉没有办法在黑夜中定位，而耳朵可以通过左右耳的声音不同，进行定位与防御。

　　这个滤波器(传递函数)叫HRTF(head-related transfer function)。如果我们有空间所有方位到双耳的滤波器组，就能得到一个滤波矩阵，从而还原来自整个空间方位的声音信号。

　　HRTF是极具个人性的。每个人成长中都会形成一套自己对听力的感知。并且，我们每个人的头部大小不一样、耳间距不一样，耳朵的轮廓、里面的旋涡状也不一样。加上，我们在成长当中养成了自己独特的听力习惯。可以这么说，每个人听到的同样物体发出的声音，其实都有细微差别。

　　如何还原人耳真实听到的声音?科学家对此的探索不是今天的新事。在将近一个世纪之前，1933年，AT&T贝尔实验室就把这项技术带到了芝加哥世博会上。这家公司的人声研究部做了一个机械化的仿真人头——他们把这个假人取名叫“Oscar”。Oscar的耳朵里装上了两个麦克风，坐在展示房间中，录取周围的声音。Oscar听到什么，他就能录到什么。

　　AT&T贝尔实验室提供的解决方案叫做双耳录音技术(Binaural Audio)。

　　双耳录音技术模拟人类真正的头部的形状、左右耳的.耳间距，可以收录到近乎于真正的人类听到的声音。这是一种有效的“笨方法”，物理层面上即还原了HRTF。沿着这条路径，德国麦克风公司纽曼(Neumann)在1973年到1992年间，连续在双耳录音技术上做出了各种突破——更好的收音设备、把麦克风放置于仿真假人耳内鼓膜上等等。

　　双耳录音技术在这个世纪中一直处于缓慢的速度发展，原因在于，没有强大的产业需求。一直等到这一波VR热潮的来临，它才重上舞台。由于Oculus Rift,索尼Morpheus以及三星Gear带来的VR普及，3D音频技术迎来了它的“文艺复兴”——于是它又被称作了VR音频。

　　3D音频技术到底难在哪儿?

　　VR需要有3D音频才能产生更真实的沉浸感。Jaunt的音频首席工程师Adam Somers在接受THE VERGE采访时这样描述：“在沉浸感这件事上面，听觉占了五成，视觉占剩下五成。”

　　Jaunt是美国著名的VR制作公司，去年得到上海华人文化产业基金(CMC)与迪斯尼的6500万美金投资。

　　然而，双耳录音技术本身不能支持收听的时候转动头部。玩家在玩VR游戏的时候，如果有声音从后面传来，人的本能反应是转头向后看。这时候如果声音继续在你的前方，那么会大大降低沉浸感。

　　另一种还原真实声场的技术也不能支持收听的时候转动头部，叫环绕立体声(surround audio)。环绕立体声用多个物理扬声器来打造一个360度的声场，来自不同方向的声音通过不同的音箱/扬声器来播放。该项技术最著名的公司是DTS和杜比(Dolby)。

　　比如一家环绕立体声影院，它会在观众的周围放置很多音箱/扬声器。如果画面左边出现了爆炸，那么左边的音箱会发出声响，而不是右边。由于播放器的位置固定，听众只有在固定的点，才能听到模拟得最真实的声场。

　　如何解决这个问题?计算成为了重中之重。

　　在双耳录音技术取到的声音之后，还原HRTF，然后进行计算，把各个方向的HRTF还原，才能合成一套随着转头、位置移动声场自然发生变化的空间音频。

　　在这三个环节中——收音、录音;计算、渲染(processing,rendering);回放——技术壁垒最强的地方在于计算环节。

　　核心算法是考验各家空间音频公司的能力指标。Two Big Ears的公司广告语说明了一切："We do mathematics so you can focus on being awesome."(我们做数学，你来好好做酷的事情。)这家位于爱尔兰的公司目前在空间音频技术上处于领先地位。

　　有些团队则为了减轻计算量，用了一些比较笨的办法。比如3dio，他们创造出收音设备，可以尽可能地在同一时间录到各个方向的HRTF。

　　通常，三个指标可以用来判断一家公司3D音频核心算法技术水平：

　　1、Localization:指的是声音的定位。环绕立体声对于声音的平面360度有较好的模拟效果，而对于上下360度则难以模拟。VR音频的难点也在于做出上下360度的声音模拟。能做到上下逼真的则技术更为先进。

　　2、Propagation:声音在封闭空间中，不是只传输一次，而是有无数次的反射(bounce back)，我们可以用回音来理解。Propagation用来描述是否能让用户感觉到自己的确在一个真实的空间中，这种真实感越强越好。

　　3、Occlusion:声音在传输过程中，如果中间有一个障碍物，这个障碍物会对声音的传播产生影响。如果一个VR音频技术可以对障碍物对于声音的影响模拟得很好，则是一个做得好的VR音频。

　　除去以上三点，目前空间音频最前沿的解决方案是Ambisonic技术。于是，能不能做Ambisonic也是判断一家公司技术高低的指标。

　　Ambisonic同样是一种声场模拟手段，但它更考验团队物理、数学和计算机的综合能力。如果我们把空间中某一个接收声音的位置想象成一个充着气的气球，那么空间中各处传来的声波会对这只气球表面产生作用力。

　　Ambisonic利用这个简单道理，在空间中摆放一堆扬声器，来模拟对应现实情况下各处声波对这只气球的作用力，然后计算，还原HRTF。

　　通过Ambisonic得到的音频数据，是最全面的数据，它可以降解到任何其他音频格式。打个比方，Ambisonic如果是图像中的jpg,则杜比7.0、杜比5.1等等音频格式相当于像素。

　　如何评价3D音频技术的行业现状?

　　3D音频技术势必会改变所有的应用场景。整个空间音频产业有两个机会：

　　第一个机会是做音频引擎(audio engine)，其核心在于HRTF函数、Propagation等技术，即如何在游戏里尽可能逼真地还原出立体声来。目前简单的做法是，在VR游戏中放置不同的虚拟音箱，并配合Oculus Audio SDK(实现了HRTF以及其他效果，包括reflection等)，就可以实现空间音频。

　　而不简单的做法有很多，需要团队具有强大的计算能力，成立于2013年爱丁堡的Two Big Ears是其中翘楚。他们所做的plug-in可能是目前行业中技术最好的plug-in之一。

　　第二个机会是实现3D音频在现实生活中的运用，即怎么配合全景视频录制带多个角度的VR音频。这样用户观看全景视频的时候如果转头，声音会进行动态调整。就应用场景来说，对于虚拟演唱会，3D音频技术尤其重要。

　　从目前整个全球市场来考量，3D音频由于其自身技术难度，还没有出现提供完美解决方案的公司与团队，大牌音频公司DTS所做的技术已经比较接近，但最终版本仍没有公之于众，并且面临着价格极高的可能性。

　　最被关注的七家3D音频技术团队

　　1、VisiSonics

　　VisiSonic起步最早，团队来自美国马里兰大学的实验室，2015年10月与Oculus达成合作。Oculus购买了他们的技术，叫做RealSpace3D,用于Oculus Audio SDK。他们设计出了一个3D音频视频同步录制的设备，由一个柱型加顶部球型装置组成，球型装置上有64个麦克风。硬件层面上，技术拔尖并保持世界领先地位。

　　2、TwoBigEars

　　位于苏格兰爱丁堡的团队，最近刚刚被脸谱网收购。他们的核心技术是做3D音频引擎，名字叫做3Dception。就plug-in层面上来讲，这支团队是目前世界范围内技术最好的团队。在被脸谱网收购前，据传HTCVive音频的计算渲染用的就是这支团队。

　　3、3diosound

　　这家公司是目前市面上可见的空间音频收音录制领域最好的公司。他们出品了有八个耳朵的收音装置。

　　4、ThriveAudio

　　这家公司与Tilt Brush一同被Google收购，属于Google VR战略布局的一部分。团队来自爱尔兰的都柏林圣三一学院。他们声称已经申请了两个专利。

　　5、MintMuse

　　一支之前在美国圣地亚哥、最近刚刚搬迁到上海的团队。主创团队来自高通。他们主攻渲染质量、算法优化、时延等领域，设计制作空间音频后期制作、coding以及软件插件工具，目前不涉及硬件生产。这支团队面向的解决人群是录音师，他们正在开发一款专业VR全景声调音软件，让调音师可以在编辑全景声过程中实时监听成品效果，简化整个工作流。

　　6、Waves

　　这是一家位于以色列的空间音频技术公司，之前做专业studio的工具，比如插件与音效，是很多著名studio的合作伙伴，如Abbey Road。

　　7、Impulsonic

　　一支孵化于美国北卡罗来纳大学计算机系的团队。主要针对VR游戏与应用的3D音频开发，产品叫Phonon。成立于2012年。创始人阿尼什·钱达克博士说创立之初他的想法就非常简单：“帮助游戏设计师与开发者更容易做出高质量的空间音频。”大部分收入来自于Phonon的license收入。他们去年接受美国国家科学基金的投资，研究同时应用于一些政府项目。

　　大部分做VR游戏的工作室还没有开始大规模使用3D音频技术——原因主要是“穷”。既然“寒冬”来了，那么也就更穷了。事实上，这些没有好内容的游戏工作室还用着环绕立体声技术;只有少数极客风格的工作室开始应用一些空间音频技术。3D音频技术仍旧是一件挺前沿的事儿。

　　然而，3D音频对于整个VR产业来讲，是基础的技术性板块。

　　拥有核心技术，才可能在应用层面上等待下一个突破点。做无人机的大疆(DJI)就是一个例子，早在无人机变成商业模式之前，大疆的主创团队已经在飞行控制这一个技术点上做了长时间的研究与努力。

　　如果VR终有一天值得每一个用户去花时间使用，那么它势必在技术方方面面上已经成熟到可以“沉浸式体验”的时候。

　　拯救VR，先从3D音频开始。

　　拓展：VR简介

　　所谓虚拟现实，顾名思义，就是虚拟和现实相互结合。从理论上来讲，虚拟现实技术（VR）是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。虚拟现实技术就是利用现实生活中的数据，通过计算机技术产生的电子信号，将其与各种输出设备结合使其转化为能够让人们感受到的现象，这些现象可以是现实中真真切切的物体，也可以是我们肉眼所看不到的物质，通过三维模型表现出来。因为这些现象不是我们直接所能看到的，而是通过计算机技术模拟出来的现实中的世界，故称为虚拟现实。

　　虚拟现实技术受到了越来越多人的认可，用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时，虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统；最后，它具有超强的仿真系统，真正实现了人机交互，使人在操作过程中，可以随意操作并且得到环境最真实的反馈。正是虚拟现实技术的存在性、多感知性、交互性等特征使它受到了许多人的喜爱。

;

---

苏州市17641314672： 曾众筹600万美元,获数万预购订单的VR耳机初创Ossic宣布关? ？
相秒舒必： Ossic是一家专门制作高端“3D音效”耳机开发商,公司在16年就获得了590万美元的融资和数万的订单,但是好景不长,由于VR产品难以普及导致这家VR耳机公司突然...

苏州市17641314672： VR中的声音听起来体验如何?和传统音频有什么区别 - ？
相秒舒必： 所谓音质,就是声音的质量,是指经传输、处理后音频信号的保真度. 在音响技术中它包含了三方面的内容:声音的音高,即音频的强度和幅度;声音的音调,即音频的频率或每秒变化的次数 ;声音的音色,即音频泛音或谐波成分.谈论某音...

苏州市17641314672： 常用的播放文件格式? - ？
相秒舒必： 常用视频文件格式1、AVI格式 如果你是一名游戏玩家,应该会注意到很多游戏的片首动画都是AVI格式的吧.比如很多人喜欢玩的《仙剑奇侠传》,片首那段极富中国传统色彩(青山、绿水、白鹭)的动画...

苏州市17641314672： 线下VR经营变现模式典范超级队长完成数千万A轮融资 ？
相秒舒必： 在去年年末的时候,VR业内掀起了一股唱衰论,认为VR寒冬已至.不可否认,在经过14、15年资本的疯狂注入之后(尤其是FB收购了Oculus),到16年下半年资本就收...

苏州市17641314672： 电视接电脑主机 - 小米电视接电脑主机 ？
相秒舒必： 1. 小米电视接电脑主机wifi下小米电视接电脑的简便方法:1、首先电脑和电视机需要... 2. 小米电视接电脑主机不显示VGA和DVI都不能传输音频信号,只有HDMI接口是同时...

苏州市17641314672： CES2017展会Wavesaudio将展示最新VR音频技术 ？
相秒舒必： Waves Audio是一家专业的音频DSP技术开发商,近日有消息传出,Waves audio将在CES2017展示最新VR音频技术,其中最大的亮点在于Waves Audio允许终端用户使用...

苏州市17641314672： Valve推出更拟真的VR音效套件重现真实世界 ？
相秒舒必： 玩VR游戏需要有好的视觉效果,音效也是影响VR沉浸感体验的重要因素.近日,Valve推出一款名叫Steam Audio的VR音效套件,旨在为VR带来更拟真的音效表现.一个...

苏州市17641314672： 到2014年9月为止海贼王全部剧场版目录 - ？
相秒舒必： 剧场版海贼王剧场版1 黄金岛冒险 「黄金岛の冒険」海贼王剧场版2 发条岛的冒险 「ねじまき岛の冒険」海贼王剧场版3 珍兽岛的乔巴王国 「珍獣岛のチョッパー王国」海贼王剧场版4 死亡尽头的冒险 「デッドエンドの冒険」海贼王剧场版5 被...

苏州市17641314672： VR技术研究领域应注重可持续发展吗? ？
相秒舒必： 就目前的VR技术研究领域而言,其实距离真正的成熟还比较遥远,所谓的寒冬论也是自说自话,想要真正的发展好VR技术,还应该注重可持续发展. 很多人都投身于VR...