视觉连贯性
混合现实的特点在于,通过融合物理环境中的信息, 将虚拟对象真实地植入到实时物理环境中，该技术被认为是实现人机视觉融合的关键技术之一。从用户的角度来说，混合现实的真实感体验依赖于在⼈的感知层⾯成功地将虚拟与现实图像融合。
任何混合现实系统都必须提供感觉上的，特别是视觉上的连贯刺激集。因此研究如何提升画面的视觉连贯性（Visual Coherence），消除混合现实环境中的视觉体验不连续的现象，是当下图形显示领域亟待解决的热点问题。
光照视觉连贯性
长期以来，视觉连贯性相关研究的重点通常集中在几何遮挡和物理碰撞方面，而没有对虚拟对象的光照效果进行调节。虚拟与真实对象之间不会生成任何阴影，也不会进行任何照明着色。这种混合现实系统不会产生高水平的真实感，虚实环境之间的一致性仅限于几何方面。混合现实在渲染虚拟场景的过程中缺少现实场景中的光照信息，导致所渲染的虚拟物体所受到的光照效果（漫反射、镜⾯反射、阴影等）与物理光照环境存在较⼤差距，⼈体在感知虚拟图像与现实场景时会产⽣显著的感知差异。
混合显示图像渲染
基于光照视觉连贯性的考量,混合现实渲染必须支持虚拟光照对真实物体的渲染(Re-Lighting),相对的,也需要支持物理光源的识别(Light Estimation),以支持物理光照对虚拟物体的渲染.入左图所示,将不同layer的图形分别渲染,并在合成后通过VST/OST的头戴式显示器进行显示是目前可行性较高的实现方案.
考虑到穿戴式设备的运算能力,这项工作势必要使用分布式计算与轻量化模型.在此基础上,笔者提出了基于先验知识的实时渲染/模型训练优化方法
感知先验
已有大量研究成果表明,人类的视觉经验能够在一定程度上影响视觉感知的效果,这些先验知识能够在大脑中形成记忆表象,从而影响视觉感知的结果(心理像),这种所见不为几所得的感知先验(视错觉),恰恰能够应用于实时渲染与机器学习.从经验性的角度减轻渲染或训练的运算压力.
亮度与色彩感知方面的先验
光照方向感知方面的先验
实时渲染方面的优化
例如在渲染方面,通过分析真实光源的视觉特性,笔者提出通过后处理的方式对自发光物体添加光源细节,避免了对间接光照灯罩的渲染,并且带来了更好的渲染效果.同时,我们利用幕布与Yeelight智能灯具搭建了光源可控的室内环境,在混合现实环境中对所构建的光源渲染策略进行了匹配测量,将物理参数与渲染参数进行了一定程度上的映射.
暗室与可控光源
机器学习方面的优化
目前笔者正在制作合成数据集,通过将带有深度、法线、光照信息的语义分割图片用于Discriminator网络的训练,利用辅助学习思想能够有效提升重光照GAN的准确性(目前该思路正在验证中).