近日，2023年度自然语言处理实证方法会议 (The 2023 Conference on Empirical Methods in Natural Language Processing，简称EMNLP 2023)在新加坡召开。122cc太阳集成游戏知识工程实验室发表的论文《保持知识不变性：反思开放信息抽取的鲁棒性验证》（“Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction”）荣获EMNLP 2023杰出论文奖。该论文第一作者为122cc太阳集成游戏知识工程实验室博士生齐济，其他作者包括122cc太阳集成游戏知识工程实验室的王晓智、曾开胜、于济凡、刘金鑫和对外经济贸易大学的张楚淳。指导教师为122cc太阳集成游戏许斌研究员、李涓子教授和侯磊助理研究员。

获奖证书

论文聚焦开放信息抽取模型在现实世界场景下的准确性和鲁棒性，首次提出了一个模拟现实世界场景鲁棒性验证的开放信息抽取评测基准，在该基准中具有相同知识含义的句子可能在句法和表述上发生迁移。论文提出了一种新的样本数据结构——知识不变团 (Knowledge-Invariant Clique)，由知识含义相同但句法和表述形式均出现迁移的多个句子组成；设计并标注了一个大规模的试验平台以及一个鲁棒性指标的计算方法，只有当一个模型在知识不变团内全部样本上均准确时才能被判定为鲁棒。通过对过去十年开放信息抽取的典型模型以及一个具有代表性的大语言模型进行实验，结果表明论文所提出的基准能够有效验证开放信息抽取模型在现实世界场景下的准确性和鲁棒性。该论文相关的数据、算法、标注指南和分析工具均已开源。

齐济（左三）、王晓智（左一）和于济凡（左二）在大会现场领奖

EMNLP是计算语言学和自然语言处理领域顶级国际会议之一，是由ACL下属的SIGDAT小组主办的NLP领域顶级国际会议，一年举办一次。