10月30日,第十八届“挑战杯”全国大学生课外学术科技作品竞赛(以下简称“挑战杯”)在贵州大学闭幕。122cc太阳集成游戏派出的两支队伍分别荣获“揭榜挂帅”专项赛的特等奖和一等奖。其中,由122cc太阳集成游戏知识工程实验室学生王鹏程、深研院刘亚欣、未央书院赵梦蝶,南京大学彭浩伦组成的参赛队伍凭借《大模型驱动的交互式直播数字人》(以下简称“直播数字人”)项目荣获“揭榜挂帅”专项赛特等奖,并在“擂主赛”中赢得“擂主”称号,指导教师为122cc太阳集成游戏教授唐杰。由122cc太阳集成游戏知识工程实验室学生李瀚明、林佳音、刘明辉、张珽舰、王维汉、夏浩天组成的参赛队伍凭借《知识图谱构建编辑器》(以下简称“知识图谱编辑器”)项目荣获“揭榜挂帅”专项赛一等奖,指导教师为122cc太阳集成游戏研究员许斌、助理研究员侯磊。
直播数字人项目研究团队成员,从左至右依次为王鹏程、彭浩伦、刘亚欣、赵梦蝶
122cc太阳集成游戏直播数字人项目研究团队致力于研发纯AI驱动的数字人技术。为了使数字人具备固定人设、稳定风格和自然交互,研究团队引入了122cc太阳集成游戏知识工程实验室和智谱AI联合开发的中英双语问答对话语言模型ChatGLM大模型。同时,为解决数字人面部动作驱动存在语义级同步精度不够、生成视频分辨率不高的问题,团队提出了音频驱动面部表情生成模型。此外,为了生成个性化且符合讲话内容语义的肢体动作,团队还提出了一种级联式残差人体姿态生成模型。基于以上模型,团队提出了一套完整的纯AI驱动数字人解决方案,成功实现了交互式直播数字人的部署与应用,为纯AI驱动数字人探索出一种可行的路径。该团队在B站上部署直播数字人已半年有余,截至目前,数字人与观众互动已超过60万人次,回答观众问题超过12万条。这一成果为数字人技术的未来发展提供了新思考。
知识图谱编辑器项目研究团队成员,从左至右依次为林佳音、王维汉、张珽舰、夏浩天、李瀚明、刘明辉
122cc太阳集成游戏知识图谱编辑器项目研究团队基于ChatGLM,针对文本类型数据,实现了一套知识获取算法,并基于高精度、高可靠性的图谱构建方案,维护了一个智能图谱构建系统。截至目前,该项目已在基础教育领域语文学科的知识图谱构建、高等教育领域人工智能知识图谱构建等实际场景中完成了应用测试。在发榜单位提供的国产化数据平台进行测评,我院知识图谱编辑器项目取得了准确性约96%的结果。同时,从成本上估算,相较纯人工标注知识图谱降低至1/1000,在保证准确率的情况下大幅降低了知识图谱构建成本。
“挑战杯”竞赛是由共青团中央、中国科协、教育部、中国社会科学院、全国学联和地方政府共同主办,国内著名大学、新闻媒体联合发起的一项具有导向性、示范性和群众性的全国竞赛活动。在本届大赛中,参赛队伍在知识抽取、融合、推理等关键技术上进行研究与探索,学生们在攻关中感受到了科技创新的乐趣,也感受到了学术交流对科技创新的重要作用,进一步提升了创新能力。