揭秘Magic Leap核心技术

和讯科技佚名08-27 18:30

 2月2日,MagicLeap官方表示获得由阿里巴巴集团领投的约7.94亿美元融资。加上上轮由谷歌领投的5.42亿美元,至2014年年底以来,该公司总计已完成13.4亿美元投资,总估值约45亿美元。

这家位于佛罗里达的创业公司已经创业数十年,阵容豪华,规模庞大,但却对其核心技术讳莫如深,异常神秘。间或泄露几条演示视频,举世惊艳,旋即哗然。那么,MagicLeap究竟有何惊世骇俗的技术秘密?在此大胆推测,力图在其扑朔迷离的表象下,探究技术的实质。

184654063.jpg
 
184654065.jpg
 
一条巨大的鲸鱼从篮球场的地面中央飞跃而出
 
在计算机图形学领域,三维场景渲染演示技术的演化进程可以大致划分成如下的历史阶段:针孔相机、双目立体视觉、光场、数字全息。简而言之,针孔相机演示技术的代表作是早期的动画电影《最终幻想》,双目立体视觉的代表作是3D版的《阿凡达》,光场的代表作就是MagicLeap,数字全息技术的代表作是《星球大战》中的场景。
 
184654067.jpg

最终幻想:光线跟踪法渲染,针孔相机显示技术
184654068.jpg
 
3D版的《阿凡达》,双目立体视觉
184654070.jpg

MagicLeap,增强现实,光场技术
184654071.jpg

星球大战,数字全息技术
 
MagicLeap实现并普及了光场显示技术,这是三维场景显示技术的一场实实在在的革命,获得空前的投资自然是名至实归。那么,什么是光场?这一技术是完全崭新的吗?这一技术发展的历史脉络如何?存在其他以光场技术起家的公司吗?我们在下面的讨论中,逐一解释。
 
针孔相机

传统的光学相机,其理想模型就是针孔相机。在计算机图形学中,传统的渲染方法都是基于这种相机模型。如图7所示,从相机的光心出发,经过成像屏幕的每一个像素,发出一条射线。光学跟踪法用几何光学的物理法则计算这条射线的颜色,即为相应像素的颜色。图8展示了一个用光学跟踪法算出的渲染图像。在这里,我们需要一个概念上的转换,每个像素不是一个点,而是一条射线,这是理解光场的关键!换言之,一张相片就是通过光心的一簇射线。《最终幻想》就是用光学跟踪法来渲染制作的。
 
184654073.jpg

光线跟踪法中的针孔相机模型
184654074.jpg
 
用光线跟踪法渲染的一幅场景
传统的显示方法,例如屏幕、LCD/LED,是基于传统观念的,即把每个像素作为一个点,从不同的角度看过去,同一个像素的颜色不变。换言之,这种显示方式失去了射线方向的信息。
 
双目立体视觉

人类具有两只眼睛,观看物体时两眼各自成像,大脑根据两眼成像的细微差别计算每一点的深度信息,从而得到立体感觉。模仿人眼,我们可以用双镜头相机得到双目立体相片。
 
184654076.jpg

双目立体相机
184654077.jpg

阿波罗登月计划中拍摄的双目立体相片
  
本质上而言,双目立体视觉相片就是从两个光心出发的两簇射线。3D版《阿凡达》就是以此原理制作的。相对于单目相机,双目立体视觉时间复杂度和空间复杂度加倍。

光场(Light Field)- 魔盒解释
 
184654078.jpg

光场(Light Field)的魔盒解释
我们假设用一个玻璃盒子罩住一只兔子,然后透过玻璃盒子来观察这只兔子。从盒子表面的任意一点,向三维空间的任意一个方向发出一条射线,这条射线的颜色由兔子和光照条件所决定。我们用来表示玻璃盒子,表示单位向量,一条射线表示为,所有射线的集合记为。每条射线对应着一个颜色,我们用三维空间中的一个点来表示。因此,光场就是从射线空间到颜色空间的映射。换言之,光场是定义在射线空间上的矢量值函数。

假设我们去掉了玻璃盒子中的兔子,但是这个玻璃盒子是一个魔盒,光场信息被完美保留。当我们观察这一魔盒的时候,所有经过一只眼睛的射线合成了视网膜上的一幅图像。我们可以自由地改变距离和视角,兔子在视网膜上的图像相应地自然变化,根本觉察不到兔子的消失。因此,有了魔盒,我们不再需要真正的兔子。这个魔盒就是兔子的光场。

在光学领域中,光场是一个古老的概念。在1996年被微软和斯坦福学者引进到计算机图形学领域,发展到2016年的今天,已经整整二十个年头了。虽然在学术界,人们不懈地研究深化,真正在工业界产生影响,还是近几年的事情。MagicLeap应该算是LightField理论在现实应用中的一个巅峰。

光场渲染我们可以用兔子的光场来取代兔子,渲染生成各种角度的照片,这样我们无需为建立兔子的几何模型,纹理模型和光照模型。对于大场景,复杂光照条件,或者复杂几何模型(如长绒玩具)等等,光场比实物的数字模型更为简单,或者光场比光线跟踪得到的渲染结果更加逼真,或者更加高效,我们用光场来渲染。这是所谓的基于图像的渲染方法。历史上,微软曾经出过一版基于光场的游戏,类似孤岛寻宝,所有场景都是从真实自然中采集,非常逼真,但是最后没有引起任何反响,无疾而终。
 

电科技(www.diankeji.com)是一家专注于全球TMT行业的领先资讯媒体。

作为今日头条青云计划、百家号百+计划获得者,2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者,曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。

投稿、商务合作请联络微信公众号

声明:本站原创文章文字版权归电科技所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表电科技立场,图文版权归原作者所有。如有侵权,请联系我们删除。

//59087780b049bbb54ef4ba547ea51910