GO6D.COM总裁陈志豪:VR内容并不好做

电科技袁创07-27 19:17

电科技消息,爱奇艺VR峰会已于7月26下午在上方花园顺利举行。电科技对此次活动进行了【专题报道】。

在峰会现场,GO6D.COM总裁陈志豪通过各种画面的拼接组合向在场的观众介绍了做VR内容并不好做,需要许多技术难题需要解决,特别对算法的要求极高。

陈志豪
 
以下是陈志豪致辞实录:
 
大家好,今天本来想说我们应该讲一些技术的东西,觉得会比较枯燥,我的分享做实时的嵌入式的视频,我们团队在Oculus的尝试,我们以前有几个同事他也拿Oculus的Offer,这家小公司怎么能做成,他们没有参加,不管做算法的还是做硬件的,Oculus三个天使投资人,我们也去过一些大公司,如谷歌,跟他们有些合作。我们团队有来自于三星多媒体,有苹果工作的,所以说比较庞大的一个团队,今天我主要讲一下我们一些心得体会。
 
大家都清楚了,为什么这么多人疯狂地在做,几亿每金收购了Oculus,这个市场在2014年具有(英文)的销售,有1500亿的销售额,成长万倍,在我们国内有几十家在做,这个市场是充满了爆发性。在这之前,我们可以看到,这个市场很多人做这些VR,很多爱好者做了很多尝试,在美国这么一个可以卖几百美金,非常昂贵,这个市场证明已经慢慢的被大众接受,而且谷歌也支持这种格式的播放,所以说这个前景是非常好的。
 
从另外一点可以看到,其实在几年前,2008年已经有公司尝试在这个领域做,但是没有成功,两三年前已经都不存在了,当然也有一些公司不只出一个产品,也是拖了很久。大家可以看到非常贵的一些设备卖到十万,十几万,比较著名的就是谷歌的,已经做到第五代了,但是没有兴趣去做(英文),很重要的原因可能是成本很贵,没有现成的硬件可以用。我们可以看看最右边的那个设备有22个SDK,非常庞大的一个系统,甚至可以看到三星出的这个产品,有16个镜头+一个投影仪,大家可以想想,哪个硬件能处理这么多的视频,如果说1080P可能是2兆,那么4K可能8兆,这个是不可思议的,现在其实很多厂家加起来1080P,要么加起来4K,所以说有很多硬件上根本没法处理这么大数量的。
 
在做这个工作的时候,有很多事情需要解决,很多视频的处理,比方说Field of  View,镜头越小,视频会比较好,但是你得做全景化,覆盖全部360度的,所以要增加很多镜头,这镜头造成很多的问题,对处理器、对功耗引发一系列的问题。我们针对运动市场的一定要Frame非常高,运动化起码30幀,要求高的得到60幀,多个镜头怎么去同步等等一系列的,所有这些问题,在(英文)技术上不一定能用在这个里面,它俩有很大的区别,甚至在这里面产生更多的问题,大家都非常清楚。
 
这个涉及到非常强大的技术,视频处理、硬件、软件的结合,但是在这个方面,我想很多人做过很多努力,不仅仅在研究院还是在什么地方,大家都有很多心得,有很多公司一直从事这个行业他们应该有很多体会。这个比较简单,怎么把这个沙盘映射到这个平面,有非常多种样子,这个图片就是一个球形跟圆柱形,谷歌是支持球形的。我举一个例子,为什么紧接有一些问题存在?比方说这是两个小的图片,如果我们把左边的放在上面,我们会发现它底下的那个连不上,你把右边的放在上面就会发现也不行,这方面的问题非常多,但是我们通过这个方式来把它对齐。刚才也谈到了,有三个镜头,变形超过120度,尽量的把它们靠在一起,因为只有尽量把它靠在一起,它们才更容易地做那个拼接,失真也会更好的处理。你想在这个硬件上面能够处理,你希望能尽量少的视频进来,你需要更多的广角,广告越大,它的变形越慢,很多用户会接受不了,当你用比较好的镜头的话,广角比较低,需要更多的镜头,没法输入更多的数据,对于很高的镜头只有70度,再好的一点可能80度,做得非常之大。
 
这个就是在拼接过程中会有一些错误的积累跟发生,举个例子,拼接这几个幀的时候,你会发现一个一个幀连接上来,到最后它的视频变成是歪的,一边高,一边低的,所以说怎么解决这个问题,非常简单,你可以把第一幀放在最后面,做一个统筹,每个移动是多少,做一个优化,可以产生的效果右眼可以看到非常的平滑。
 
这个也是在拼接过程中很明显的技术问题,我们要做这个工作,视频肯定都要重复,如果用最简单的方法,我们应该看左边还是看右边,如果把两个重复的东西加在一起会引发其他问题,所以说最简单的是,我把重复的有一部分去掉就搞定了,但是这样的话,你会看到很明显的一条线,甚至它会有一些问题,两幅画明显不一样。我们在做优化的过程中,有更好的方法,我们在重叠的范围之内,会找一条优化比较好的,错误率比较小的,不是一条直线,是一条最优的线,这些都是在具体过程中碰到的一些问题。
 
这个就是我们其中一个效果图。
 
如果通过优化来分,还可能会把一个物体分成两半,把一个物体分成两半之后又会产生其他的问题,在这个过程中又会怎么处理呢?如果我们把这个物体识别出来,我们可以一些权重,如果通过这个物体经过,这个错误率就比较高,所以说你在找优化的线之后,就会压过这个物体,这种效果就会非常高。还有一种是,你可以把背景跟前面的那个景可以分开,拆分的时候可以大过那个的物体,拼接效果就会更好。大家看到,如果不做优化,很明显可以看到整个拼接效果就是很难接受的,当我们做处理,拼接效果右眼基本看不出来。
 
这个也是一个拼接效果图,如果我们随便拼一个幀的话,就会有些问题出来,有些变形,在这个过程中,找出一个物体,找出它的特征,根据这个特征做拼接,整个画面就会非常完美。
 
这些应该是拼接过程中都会遇到的问题,拼接之后,可能拼接部分会产生明显的一条线,色彩、曝光都是不一样的,我们也要做这样曝光的处理,色彩的处理,看上去非常的平滑。
 
我们做这些东西,最开始是做运动方面的,因为在这方面,你把运动做好之后这边就非常简单了,但是运动方面的处理比这方面复杂很多,它首先是(英文)非常重要。这个就是其中一个,它会产生一些人影,我们的技术把它的人影去掉,这是其中一个,我想说(英文),我们可以把这些技术应用到我们这个全景视频上,一个模糊的可以变成一个非常清晰的,技术上都是可以做得到的。还有一种,如果在这个场景之下,物体的应用是可预测的,我们硬件可以预测,这些物体在上一个时间段内它会走到什么地方,我们整个拼接效果会更快,优化的更好,所有的点都会找到,而且这个量会非常少。现在有些创业公司在整个应用场布很多的摄像头,实时的播放给大家,足球场有足球,篮球场有篮球,冰球场有冰球,怎么判断在这个场景里面大家最关注的点是什么,这些都有一些方法来处理。我们是多个镜头,所以说当每个镜头如果分辨率,我们可以通过多个镜头把分辨率提的更高,如果一个镜头看不出这个信息,但是我们通过幀就可以把那个视频提高几倍,让大家知道其中一个内容非常好看。
 
这也是非常突出的一点,我们通过很多幀视频的处理,把一个稍微模糊的视频变得更清晰。这个是3D的场景,基本上可以进行输入,通过不同的两张画来展示这个三维。在做这个的过程中,有一些心得体会,如果我们要做一个智能场景的嵌入式的设备,我们肯定全景视频在这个领域有很大的市场,我们的监控还有一些机器人等等都有360度的视频,方便做这个判断甚至在航拍过程中都有很多的应用全景。
 
本来今天想跟大家多来点互动,但是场子这么大,我以为也是沙龙式的探讨会,会后我们可以进行探讨。谢谢大家!

电科技(www.diankeji.com)是一家专注于全球TMT行业的领先资讯媒体。

作为今日头条青云计划、百家号百+计划获得者,2019百度数码年度作者、百家号科技领域最具人气作者、2019搜狗科技文化作者、2021百家号季度影响力创作者,曾荣获2013搜狐最佳行业媒体人、2015中国新媒体创业大赛北京赛季军、 2015年度光芒体验大奖、2015中国新媒体创业大赛总决赛季军、2018百度动态年度实力红人等诸多大奖。

投稿、商务合作请联络微信公众号

声明:本站原创文章文字版权归电科技所有,转载务必注明作者和出处;本站转载文章仅仅代表原作者观点,不代表电科技立场,图文版权归原作者所有。如有侵权,请联系我们删除。

//59087780b049bbb54ef4ba547ea51910