智能感知与人机协同教育部重点实验室于2023年3月获批筹建,于2025年12月通过验收。

实验室聚焦“十四五”规划中重点强调的人工智能、增强现实、人机协作等方向，重点探索新一代机器智能与人类智能的协同发展和相互增强技术，致力于建设智能人机协同与交互原创研究基地，培养一支高水平的人工智能研究队伍，构建人类智能与机器智能交互合作的新型理论基础和实验平台，为未来智能医院、生命健康应用等复杂人机协作场景提供引领技术，服务国家人工智能发展战略，促进智能应用产业发展。

实验室设置了四个研究方向：1）虚实结合的智能感知；2）人机协同学习理论；3）复杂场景人机交互智能；4）智能芯片。实验室通过加强原创性引领性科技攻关，在虚实结合的智能感知、人机协同学习理论、复杂场景人机交互智能、智能芯片等方向取得了重要进展。实验室近三年持续产出具有前瞻性且紧密契合行业需求的创新成果：其中10余项成果荣获国际顶会奖项，包括荣获ACL2023杰出论文奖、CVPR 2024最佳学生论文奖、AAMAS 2024最佳论文奖、MICCAI 2024最佳论文奖、IEEE VIS 2024最佳论文奖、SIGGRAPH 2024和DAC 2024\2025最佳论文提名、ACM CHI 2025最佳论文、SIGGRAPH 2025最佳论文、最佳前沿技术、十佳技术论文快览等；此外，另有成果荣获2024年中国光学十大进展（应用研究类）提名奖、2024科技部颠覆性技术大赛优秀奖等。实验室持续产出高水平创新成果，展现出卓越的创新能力与广泛的国际影响力。

围绕实验室研究方向，实验室在虚实融合下动静态场景的感知建模和知识获取方面取得了国际领先的成果，构建了涵盖高精度形象还原、可重光照、多模态交互等核心方向的完整技术体系。团队自主建设并运营的大规模数字人光场扫描与动态捕获平台，支撑了全球首个动态正交线性光照数字人数据集和超大规模数据集的发布，实现了多视角、多光照、全时空同步采集，涵盖两千余个高精度数字人资产，广泛应用于学术界与产业界。依托全球首个集成2.3万光源、200视角与超高时空分辨率相机的数字人动态捕获系统，团队构建了超写实数字人交互数据集，推动虚拟主播、沉浸式交互与影视特效等多个领域落地，并支撑了《流浪地球》等影视作品的数字人特效制作。团队打造的全球顶尖多相机同步采集阵列与穹顶式全向光场成像系统，支撑了1.7亿帧、PB级存储的三维数字人动态数据库，全面超越国际同类数据集，确立了数字人动态建模的新基准，相关成果已发表在CVPR、ACM MM等国际顶级会议。

在人机协同理论方面，基于安全可控的强化学习、深度平衡网络、异构联邦学习算法，实验室团队提出了首个能解决复杂硬约束的连续控制任务的安全强化学习算法、通过同伦延拓理论构建深度平衡模型和神经常微分方程的统一理论框架、提出一个处理标签分布偏差和特征偏差的联邦学习框架。

在复杂场人机交互方面，主要在解决大场景的细粒度和通用性感知任务，为精准的人机协作做好上游算法铺垫。1) 首先，针对大规模密集人群场景的精准三维感知，首次提出了一个以人为中心的大场景感知数据集和多项感知任务的基准模型。数据集包括丰富的人类活动和交互，并提供了包括实例分割、3D边界框、动作类别和连续实例ID在内的细粒度标签，这些可以促进各种3D感知任务，如点云分割、检测、动作识别、人物-物体互动（HOI）检测、追踪、运动预测等视觉任务。2) 其次，为了解决模型的泛化性问题，我们提出了一种新颖的多模态零样本学习方法，以更好地利用点云和图像的互补信息，实现更准确的视觉-语义对齐，并取得了先进的开放语义能力。3) 最后，我们首次引入视觉大模型CLIP和SAM，通过知识蒸馏和迁移的手段，在完全没有3D标签的情况下，达到了先进的三维感知结果，并且具有一定的通识能力，为机器人在开放场景下的任务执行提供了鲁棒的感知技术。

在智能芯片方面，面向人机交互应用的神经渲染专用处理器芯片架构研究，实验室提出了一种基于多光线步进结合快速光线切换的高性能神经渲染专用处理器芯片架构，并基于FPGA平台对架构进行了原形验证，展示了其全球领先的性能。

最后，实验室产学研一体化融合，深度赋能实体经济；实验室主任虞晶怡讲席教授深耕人工智能技术的转化与应用，指导学生创办8家高成长科技企业，包括聚焦3D生成的影眸科技、大场景扫描的岱悟智能、AI渲染芯片的飓晟科技、专注神经渲染的赜深数字等，累计融资超3亿元。其中，影眸科技基于自主研发的3D生成平台，整合生成式AI技术，目前活跃用户超50万人，已与字节跳动、苹果、沃尔玛等多家国内外知名企业建立长期技术合作，获得红杉、字节、美团等投资逾亿元；其研发的全球唯二、亚洲唯一的微米级面部扫描系统“穹顶光场”，为《流浪地球2》演员的面部扫描和数字建模提供了重要技术支持；2024年12月，公司CTO张启煊入选胡润U25中国创业先锋榜单，公司CEO吴迪入选2025福布斯“30 Under 30 Asia”榜单。叠境数字已在虚拟现实领域崭露头角，累计融资超2亿元，年经济效益达5千万；为推动上海城市数字化转型，促进人工智能深度赋能实体经济，提升城市能级和核心竞争力做出了突出贡献。与上海广播电视台共同攻关人工智能手语翻译项目，实现普通观众与听障观众之间沟通理解的双向奔赴，该项目已被收录到2024年上海国资国企社会责任蓝皮书中，已经在徐汇牙防所和上海博物馆得到了应用。

实验室高度重视人才队伍建设，通过各种人才计划不断凝聚、吸引、培养国内外优秀中青年人才，形成了以学术带头人牵头、中青年教授结合、学科交叉的高水平研究队伍。目前实验室有固定人员56人，包括研究技术人员54人，管理人2人，汇聚了30余位各类国家、省部级人才计划获得者；在读研究376人；实验室主任为虞晶怡讲席教授，副主任为何旭明副教授。实验室现已有一批相关研究方向先进的仪器设备，固定资产价值约1.66亿元，办公与科研用房4000多平方米，有着稳定的管理、技术人员队伍，比较健全的实验室管理制度。