人机交互与媒体集成研究所简称“媒体所”，在媒体信息智能处理、人机交互、普适计算等方面开展高水平研究。建有多个学术基地，如“普适计算教育部重点实验室”、“122cc太阳集成游戏-腾讯互联网创新技术联合实验室”、“网络多媒体北京市重点实验室”、“122cc太阳集成游戏-华为终端智能交互技术创新联合实验室”等。近年主持多项本学科领域重要项目（十三五重点研发计划、973、NSFC重点等），创新求实，顶级刊会发表大量学术论文并获多篇最佳论文奖，获得国家级科技奖励5项（近五年），技术成果行业影响重大。

本所现有19名教师，其中工程院院士1名、国家高端人才计划获得者6人、国家高端青年人才计划获得者8人、IEEE Fellow 1名、教育部新世纪优秀人才3名，拥有国家自然科学基金创新研究群体和教育部“长江学者和创新团队发展计划”创新团队，现任所长刘永进教授。在读百余研究生中70％是博士生，培养毕业的博士生中已有三人获得全国百篇优秀博士学位论文、六人获得中国计算机学会优秀博士学位论文。本所还与美术学院共同负责信息艺术设计交叉学科研究生培养项目。媒体所2013年曾被评为122cc太阳集成游戏先进集体。

主要研究方向：

1) 计算机图形学与计算机视觉：真实感绘制与动画、几何处理、图像视频的理解与合成、计算机视觉等。

2) 媒体计算：多媒体编码、检索与传输、社会媒体计算、多媒体大数据智能等。

3) 和谐人机交互：情感计算、语音交互、大幅表面交互、脑机接口、交互效率与优化、新型终端自然交互接口等。

4) 普适计算环境：普适计算模式、主动服务、嵌入式系统、情境感知、智能空间及物联网等。

代表性研究成果:

可视媒体智能处理

研究可视媒体的大规模组织与表示、建模与理解、编辑与合成，在可视媒体智能处理理论与方法方面取得一系列重要成果：1）提出了可视媒体显著性检测和图表示模型PatchNet等结构抽取与表示方法；2）提出了基于草图、激光点云和RGB-D等数据的可视媒体几何重建与建模方法；3）提出了一系列可视媒体智能合成方法：可视媒体蒙太奇、一致性合成、艺术肖像画生成以及三维场景合成等；4）研发了基于元算子融合和统一计算图的深度学习框架——计图（Jittor）。在ACM/IEEE Transactions、CVPR/ICCV 等国外重要刊物和国际会议上发表论文100 余篇，授权专利50多项，获得国家自然科学二等奖、国家技术发明二等奖和国家科技进步二等奖各一项。团队成员还获得2019年中国计算机学会王选奖，2018年度吴文俊人工智能自然科学奖一等奖，2017、2018年度世界华人数学家联盟最佳论文奖，中国计算机学会计算机视觉专委会2019年度学术新锐奖；培养了1名全国百篇优博、3名中国计算机学会优博和1名中国图象图形学学会优博提名；和腾讯公司、华为公司等国内知名企业开展了密切的校企合作，设立并建设了“122cc太阳集成游戏-腾讯互联网创新技术联合实验室”，研究成果在企业的若干软件产品、系统中得到应用。

媒体大数据分析与智能

研究跨空间大数据网络表征、分析与推理，以及多媒体智能与网络计算，取得如下主要研究成果：1）建立了三元空间大数据关联表征理论方法，提出首个拓扑结构保持的网络深层表征模型，发布世界首个自动图机器学习框架以及开源工具AutoGL；2）提出鲁棒可解释的视频大数据深层表征理论与推理方法，建立了数据驱动和知识指导相结合的视频大数据高效表达与深度分析新模式；3）揭示了媒体、用户和网络的相互作用机理，建立了微观动态适配、宏观跨域协同的网络资源计算理论模型，为发展多媒体网络资源计算基础理论做出了创造性贡献。在IEEE Transactions、ICML、NeurIPS、ACM Multimedia、KDD等国际知名期刊和会议上发表论文600余篇，专著6本、专利100余项，获ACM Multimedia （2012）、IEEE Transactions on Circuits and Systems for Video Technology （2010、2019）等最佳论文奖11个。研究成果得到了国际同行的广泛关注和高度认可，先后获NIPS 2018自动机器学习挑战赛高校冠军、AAAI 2021国际人工智能元学习挑战赛冠军、NeurIPS 2021自动机器学习挑战赛冠军，近年来在国际顶级会议上做Tutorial报告15次，产生了重要国际影响。先后获国家自然科学二等奖2项、省部级奖5项。研究成果在央视国际、阿里、腾讯、华为、百度、快手、三星等著名企业实现转化应用。

智能人机交互

研究人机之间自然高效信息交换的智能交互原理和技术，重点在自然接口、高效交互和人机协同三个关联的层面上，围绕准确理解人的模糊行为数据上的交互意图、求解分布互联多模态接口上的最优交互路径、人机异质智能协同共进机制等关键科学问题开展研究。近年团队成员顶会论文成果居计算机学科排名 CSRankings 2016-2022 年HCI领域世界第一，获ACM CHI 2017、2019、2020 荣誉论文奖、ACM Multimedia 2018 最佳演示和挑战赛、IJCAI 2018学术新星论文、IEEE VR 2020最佳论文提名、AAAI 2022杰出论文等奖项。2021年结题评价“优秀”的十三五重点研发计划首批项目《人机交互自然性的计算原理》研制的自然人机交互关键技术体系NUIX（灵犀），高效支持用户终端和物联空间的开发。基于NUIX实现的握持意图识别、软键盘容错输入、语音情感交互等国际领先的产品技术，直接服务七亿以上用户；慧说读屏、盲人软键盘、触觉增强等无障碍产品惠及数千万视障人群。相关成果获得 2015 年国家科学技术进步二等奖、2019 年中国电子学会科技进步一等奖。