2020-06-07 U漾生活
GPU 性能不够跑 VR?这项技术或许能解决难题

所谓虚拟实境,就是要欺骗人的眼睛和大脑,让虚拟世界感觉跟真实世界一样。目前好的 VR 产品已经在这方面做得相当不错了,但仍有进步空间。下面要说的就是一项可以让虚拟世界更能模拟真实世界的技术。

人眼看世界与 VR 计算材质贴图方式

人眼能看到的範围是有限的,因此产生了一个名词叫人眼视度。人眼视度指的是人不动头时的可视角度。我们身处一个 360 度环绕的世界,但任何时候我们只能看 120 度视度範围内的事物,并且我们的双眼会聚焦在视野中一小块不超过 6 度的区域(中央凹 + 近中央凹视野),周围则是模糊的(周边视野),这就是我们看世界的方式。

顶级的 VR 头显(HTC Vive、Oculus Rift)的可视角度能达到 110 度左右(与眼睛和萤幕之间的距离有关),与人眼视度非常接近。我们在 VR 头显中看到的世界,也只是它的萤幕所显示内容的一部分,而真正聚焦的更是这一小部分中的一小块区域。但是 VR 装置在计算画面时却是对整个视野进行计算,不在人眼聚焦的画面一样在以相同的速度更新。

由于 VR 装置的高解析度和更新率,这种贴图计算方式需要消耗大量的 GPU 资源,使得 PC 平台的头盔对显卡要求很高(通常在 GTX 970 以上),而行动 VR 则很难达到良好的体验。

不过,一些公司已经在着手解决问题,Nvidia 推出了 MRS(multi-resolution shading)技术,中国公司七鑫易维则希望在此基础上加入焦点算图(Foveated rendering)技术。

分区算图的 MRS

2015 年 5 月,Nvidia 在自家针对 VR 的开发者套件 GameWorks VR 中加入了 MRS 技术。这项技术使得针对 VR 的算图不再是将整个画面以相同的解析度进行计算,而是分成了几个不同的区域。

GPU 性能不够跑 VR?这项技术或许能解决难题

画面的中央,也就是人眼在 VR 中看到的主要区域,也是画面没有畸变的地方,会以完整的高解析度进行贴图计算;而画面的边缘则以更低品质进行算图,再加上边缘的图元经过变形后的损失,可以节省 25%-50% 的图元,理论上可以提升一倍的计算效果。

使用 Nvidia Maxwell 架构的显卡,包括 GeForce Titan X 和 GTX 900 系列,目前都支援这一技术。

在接受雷锋网採访时,Nvidia 全球副总裁、中国区总经理张建中也解释了这项技术:

焦点算图

中国创业公司七鑫易维目前正与 Nvidia 合作,在 MRS 技术的基础之上,使用眼球追蹤技术进一步开发出焦点算图技术(也叫注视点算图),从而进一步缩小高解析度算图画面的区域。

据七鑫易维 CEO 黄通兵介绍,焦点算图透过近红外感测器对人的眼球进行追蹤,判断人眼的注视点,只对注视点区域进行高解析度计算,而且这个区域会随着注视点的变化而变化。

GPU 性能不够跑 VR?这项技术或许能解决难题

上图是雷锋网记者在试用注视点算图技术时电脑萤幕显示的画面,可以看到记者的视线焦点停留在小屋上时,画面中只有小屋是清晰的,而周围一大片区域则是模糊的。但是当你戴着头盔看时,几乎分辨不出和没有使用这项技术的画面的区别。

官方表示,这个方案可以在保证使用者体验的情况下,将渲染图元降低到 MRS 方案的 10% 左右,最终适用于 VR 装置的 PC 比率可以提升至 30%。

眼球追蹤会对整个画面算图带来延迟,黄通兵表示他们解决了这个问题,他表示目前追蹤技术最高可以做到 380Hz 的更新率,如果以通常提供的 220Hz 计算,会给算图带来 5ms 的延时。但是,由于使用焦点算图,GPU 的负担减轻,使得其算图延时可以降低至 5ms,最终使得整体延时仍然低于 20ms。

这项技术也仍有一些问题需要解决,包括针对戴眼镜的用户,眼镜会影响眼球追蹤的效果;还有 HTC Vive 这类产品使用的菲涅耳透镜,其同心圆也会干扰到讯号。

国际上亦有厂商在开发类似的技术,包括 Tobii、SMI、FOVE 和 Eyefluence,但是这个领域还没有形成标準。

目前七鑫易维除了跟 Nvidia 合作外,也在跟高通、HTC、Oculus 以及中国 VR 头显厂商合作研究这项技术,具体的产品面世时间仍有待确定,但据悉高通的一体机方案会重点推这个技术,中国的大朋和 3Glasses 也很积极。