CCAC 2025技术评测总体方案
第五届中国情感计算大会(The Fifth China National Conference on Affective Computing, CCAC 2025)由中国中文信息学会情感计算专委会主办,西华大学承办,将于2025年7月18日-20日在四川成都召开。中国情感计算大会每年举办一次,旨在聚焦情感计算领域的最新研究和技术成果,现已成为自然语言处理、社会计算领域的重要学术活动,聚集了情感计算的前沿研究,为促进学术界和产业界之间的融合发展、传播情感计算最新的学术和技术成果提供交流平台。
在CCAC 2025大会上,我们将持续组织情感计算相关技术评测。经过前期评测任务征集,评测委员会已确定五个评测赛道,包括多模态交互中的情感变化推理、第五届智慧论辩评测、四格漫画理解评测、中文多模态讽刺计算、细粒度比拟句情绪分析五个情感计算领域前沿的研究方向。我们诚挚欢迎广大研究者参与评测竞赛,评测竞赛的获奖团队将会被邀请在大会上分享其技术、方法和经验。
赛道一:多模态交互中的情感变化推理
1、任务背景:
多模态交互中的情感变化推理旨在理解交互过程中目标对象情感变化的多模态影响因素,在自然人机交互、教育、医疗等场景具有广泛的应用。与传统的多模态情感识别任务不同,情感变化推理关注于对交互者情感原因及情感产生过程的深度理解。该任务需要充分挖掘多模态情境当中的情感刺激因素,建模交互者由刺激引发出的认知评价,进而推断出其情感反应。本评测项目鼓励参赛者从不同模态不同角度对多模态对话中的情感变化进行建模和推理,旨在推动多模态交互中情感理解相关研究的发展。
2、任务介绍:
本届多模态对话中的情感识别评测任务将采用INSIDE (emotIon chaNge reaSoning In multimoDal convErsations) 数据集作为支撑数据集,该任务的具体介绍如下: 多模态交互中的情感变化推理评测任务旨在对于多模态交互场景中交互者出现的情感变化情况进行深度理解。任务输入是双人多模态对话片段,包含对话视频、对话文本、每句话的情感状态,此外还会指定出要关注的交互者及其出现情感变化的位置,要求输出该交互者出现对应情感变化的原因,包括多模态的刺激因素,交互者的认知评价以及交互者最终的情感反应。
数据集描述:
本次技术评测使用的标注数据集为INSIDE数据集,由中国人民大学AI·M³实验室提供,在M3ED数据集的基础上进一步标注而成。INSIDE数据集共计4147个样本,包含丰富的情感互动。我们将发布视频片段所对应的视频信息、文本信息以及对应的标注信息,其中文本信息和标注信息将以JSON格式发布,数据样例如下:
评测指标:
本次评测将基于METEOR和BERTScore两项指标的综合排名进行评定。具体方法如下:首先,分别根据METEOR和BERTScore两项指标对所有参赛队伍进行独立排名;然后,将每支队伍在两项指标中的排名位次相加,总和最小的队伍位列前茅。若两支队伍的排名总和相同,则以BERTScore的高低作为最终排序依据,得分较高者优先。
具体任务细节参见::https://github.com/rangwang/CCAC2024-FS_Moderation
3、组织者和联系人
评测主席:金琴
评测组织:中国人民大学AI·M³实验室,启元实验室
评测委员会成员:赵金明
如有疑问,请致信评测会务组:
如有疑问,请致信评测会务组:
吴国正(wuguozheng@ruc.edu.cn)、
张鑫洁(zhangxinjie827@ruc.edu.cn)、
黄兆培(huangzhaopei@ruc.edu.cn)
4、评测报名方式
赛道二:第五届智慧论辩评测(AI-Debater 2025)
1、任务背景:
在本届大会中,我们将举办第五届智慧论辩评测。论辩是人类智慧的一项重要技能,在诸多人类活动中承担着不可或缺的作用。 计算论辩技术关注机器对人类论辩过程的理解和模仿,广泛应用于决策辅助、写作支持和逻辑审查等场景,也可以在社会仿真中发挥重要作用, 于近年来逐渐成为人工智能研究的新兴重要分支。本届智慧论辩评测由中国中文信息学会情感计算专委会(CIPS-CCAC)主办, 复旦大学数据智能与社会计算实验室和哈尔滨工业大学社会计算与信息检索研究中心共同承办,欢迎各界人士参与。
2、任务介绍:
本届智慧论辩评测包含自主论辩任务、自主论辩赋能社会调查两个任务,其中任务一包含辩题识别,论据挖掘,辩论构建和自主论辩生成四个子任务。 本次评测有三个数据集作为支撑:辩论理解数据集通过翻译与人工校正确保质量,覆盖论点分类与逻辑关系标注; 自主辩论生成数据集基于真实赛题,经过商用大模型标注与人工校验,提供一辩稿与辩题对齐的高质量生成样本; 社会调查仿真数据集则基于脱敏真实数据构建,为社会行为统计的仿真分析提供基础。
任务一:自主论辩任务
任务一在最终评测时,取四个子任务的平均分数作为最终分数。
子任务一:辩题识别
给定一个论点和一个论据,判断当前论据是否可以支持当前论点,可以支持当前论点输出1,不可以支持当前论点输出0。
评测指标: Acc
子任务二:论据挖掘
同上,判断论据是否支持论点,输出1或0。
评测指标: Acc
子任务三:辩论构建
给定一篇立论陈词稿和陈词稿中的一个论点,判断该论点的结构类型(主要论点、普通论点、论点前提)。
评测指标: Acc
子任务四:自主论辩生成
给定一个辩题及对应持方,由参赛模型自动生成一篇一辩立论陈词稿。
评测指标: 人工评价
任务二:自主论辩赋能社会调查
基于人口统计学信息构建大模型仿真个体,通过多智能体辩论机制激发观点交锋,
促使个体在认知迭代中形成更精准的社会调查响应。
评测指标: 50% 多智能体辩论得分(Debatrix + 人工评价) + 50% 最终回答 F1
3、具体任务链接:
任务官网:http://www.fudan-disc.com/sharedtask/AIDebater25
4、组织者和联系人:
评测主席:魏忠钰(复旦大学)、张伟男(哈尔滨工业大学)
评测委员:林嘉昱、梁敬聪(复旦大学),肖瑞宇(哈尔滨工业大学)
顾问委员:黄萱菁、蒋昌建(复旦大学)
如有疑问请联系:disclab@fudan.edu.cn
5、评测报名方式:
赛道三:四格漫画理解评测
1、任务背景:
当前,大模型在单一模态理解方面表现优异,但在处理融合叙事逻辑与情感线索的复杂多模态场景时仍存在技术瓶颈。 四格漫画常作为多模态信息的综合载体,是以四个画格组成的短篇叙事漫画,遵循“起承转结”结构, 通过简洁画面和对话呈现完整情节,常用于幽默、讽刺或生活化主题,强调节奏紧凑与结局反转。 其四联画板通过视觉叙事、文字对白和空间布局的协同作用构建连贯的语义逻辑链, 对现有模型理解能力提出了多维度挑战。因此,我们基于该漫画数据,设定了漫画理解评测任务,探索模型的综合认知能力。
2、任务介绍:
本次四格漫画理解评测,包含两个任务,分别从逻辑理解和上下文推理的方面来评估模型对四格漫画的理解能力。 我们从互联网上收集了四格漫画数据。每张数据包含漫画标题和对应的漫画图片。 我们按照 5:1:2:2 的比例,将数据划分为训练集,验证集及相应任务的测试集,以此评估模型在两个不同任务场景下的表现。
任务一:四格漫画逻辑理解
本任务评估模型对于输入四格漫画阅读顺序的逻辑理解能力。四格漫画第一格设定场景,第二格发展情节,第三格转折,第四格收尾或搞笑,整体结构紧凑。
本任务为模型提供一个经过特殊处理的四格漫画,该漫画的某两个画面格的顺序被交换,要求模型准确判断该漫画正确的阅读顺序。
评价指标: Macro-F1 score
任务二:四格漫画上下文推理
本任务评估模型对于输入四格漫画上下文信息的理解能力。通过对输入四格漫画的某一画面格进行随机掩码,
要求模型依据漫画整体的情节、画面风格以及前后关联等上下文信息,生成一段被掩码画面格的文本描述,还原漫画情节。
评价指标: ROUGE,BLEU
3、具体任务链接:
任务详情: https://github.com/DUTIR-Emotion-Group/CCAC2025-task3
4、组织者和联系人:
评测主席:杨亮
评测组织:大连理工大学
评测委员会成员:杨琦,曾景杰,白泽文
如有疑问,请致信评测会务组:
杨亮(liang@dlut.edu.cn)、
曾景杰(jjtail@mail.dlut.edu.cn)、
杨琦(qiyang@mail.dlut.edu.cn)、
白泽文(dlutbzw@mail.dlut.edu.cn)
5、评测报名方式:
赛道四:中文多模态讽刺计算
1、任务背景:
讽刺作为一种复杂的语言现象,广泛存在于日常对话、文学作品及娱乐节目中。 它通过表面上看似正面或中立的语言来传达负面或批评性的含义,根据其表现形式的不同,可以细分为多个类别。 多模态讽刺计算任务旨在综合分析与深度融合文本、音频和视觉等多种模态的信息,以实现对讽刺表达方式的全面理解和精准识别。 这一领域的研究不仅提升了机器理解复杂语言现象的能力,增强了人机交互的自然性和准确性, 还在多媒体内容分析、社交媒体监控以及跨文化交流等多个方面展现了重要的应用价值。
2、任务介绍:
中文多模态讽刺计算数据集数据来源于国内著名的脱口秀节目《吐槽大会》。 该数据集通过时间戳将视频内容切分为多个片段,每个视频片段均进行了详细的标注, 包括:编号(subtitleNo)、说话人(speaker)、对应视频片段的起始结束时间(start、end)、 文本内容(sentence)、是否幽默(isHumor)、幽默类别(humorType)、是否讽刺(isSarcasm)、 讽刺目标(sarcasmTarget)、讽刺类别(sarcasmType)。 本任务包括两个子任务:
任务一:多模态讽刺识别
目标:对于给定的视频片段,参赛模型需判断当前视频片段是否包含讽刺含义。
输出:2种标签,“1”表示该句子为讽刺语句,“0”表示该句子为非讽刺语句。
评价指标: macro F1。
任务二:多模态讽刺类别识别
目标:对于识别出的讽刺视频片段,参赛模型需判断当前视频片段属于哪种讽刺类别。
讽刺类别及对应标签说明如下:
0)Sarcasm(嘲笑)
1)Irony(反语)
2)Satire(讽刺文学)
3)Understatement(轻描淡写)
4)Overstatement(夸大)
5)Rhetorical question(反问)
评价指标: macro F1。
3、具体任务链接:
任务详情: https://github.com/MuYuU0/CCAC2025-Chinese-multimodal-sarcasm-calculation
4、组织者和联系人:
评测主席:樊小超
评测组织:新疆师范大学
评测委员会成员:颜勤沛,程道翔,徐迪,伊胜利
如有疑问,请致信评测会务组:
樊小超(fxc1982@xjnu.edu.cn)、
颜勤沛(906214621@qq.com)、
程道翔(1563426144@qq.com)
评测任务QQ群:649503826
5、评测报名方式:
赛道五:细粒度比拟句情绪分析
1、任务背景:
比拟是中文常见的修辞手法,可分为比喻、拟人和拟物三种类型。比拟通过将本体(描述对象)与喻体(比拟对象)建立相似性联系(喻底),以生动形象的方式传递情感和语义。 为了增强文本情绪表达效果,比拟句常出现在文学文本、社交媒体等场景中,对机器深层挖掘文本语义及情绪信息提出了挑战。 本任务旨在深化比拟修辞格与情绪表达关联的认知,推动计算语言学与认知科学的交叉研究,为文学分析、舆情分析及人机交互提供支撑。
2、任务介绍:
本届中文比拟情绪分析评测包含两个阶段,共计三个任务。任务数据基于统一的数据集构建,每条数据可能包含若干个“本体-喻体-喻底-情绪”四元组标签,任务目标如下:
第一阶段:
任务1:比拟句情绪分析
目标:给定一个比拟句,判别该句子的情绪类别。
输出:8类情绪标签,0-7分别代表无情绪、乐、好、怒、哀、惧、恶、惊。
评价指标: 宏平均-F1
任务2:细粒度本体、喻体特征抽取
目标:抽取句子中所有本体(描述对象)及喻体(比拟对象)片段对。
输出:假设一句比拟句中包含n组<本体-喻体>对,输出<本体1,喻体1>,......<本体n,喻体n>。
评价指标: F1(模糊匹配)
第二阶段:
任务3:<本体-喻体>对喻底判别
目标:根据给定比拟句信息及指定<本体-喻体>对,从4个选项中单选出该对应的喻底。
输出:A/B/C/D 之一,表示正确的喻底推断。
评价指标: ACC
3、任务链接:
https://github.com/sxu-nlp/Bini-EmoAnalysis/tree/main
4、组织者和联系人:
评测组织:廖健(山西大学),王素格(山西大学),陈鑫(太原科技大学),
郑泽芝(厦门大学),杨尔弘(国家语言资源监测与研究平面媒体中心)
评测联系人:李鹏帅(山西大学),张佳雯(山西大学)
联系邮箱:3023109202@qq.com,2439954473@qq.com
5、评测报名方式:
【腾讯文档】CCAC2025 细粒度比拟句情绪分析报名表
https://docs.qq.com/form/page/DWXd2TFZMVkV2RHJD
二、评测奖励
• 每个赛道将产生一、二、三等奖若干名,获奖队伍将获得由中国中文信息学会颁发的证书。
• 本届评测对于各赛道获得前3名的队伍各提供一个免注册费参加 CCAC2025 大会的名额(食宿自理)。
• 各赛道前3名队伍的评测论文可自愿推荐至期刊《Symmetry》(SCI三区,MDPI开源期刊)专刊 “Symmetry and Asymmetry in LLMs-Based NLP” 上发表(需符合期刊投稿要求)。
• 获奖队伍需提交一份约四页的技术报告,组委会将在大会官网公开共享,以促进技术交流。
三、评测总体时间安排
事项 | 时间 |
---|---|
任务发布与报名启动 | 2025年4月1日 |
训练集语料发布 | 2025年5月上旬 |
测试集语料发布 | 2025年6月上旬 |
提交截止 | 2025年6月中旬 |
比赛结果公布 | 2025年6月下旬 |
CCAC2025大会召开及颁奖典礼 | 2025年7月18日-20日 |
各评测赛道的具体时间安排请关注各赛道通知详情。
评测联系邮箱:
廖 健(liaoj@sxu.edu.cn),
虞剑飞(jfyu@njust.edu.cn),
连 政(lianzheng2016@ia.ac.cn)
CCAC 2025评测主席:
廖 健(山西大学)
虞剑飞(南京理工大学)
连 政(中国科学院自动化研究所)
CCAC评测顾问专家:
王素格(山西大学)
赵妍妍(哈尔滨工业大学)
杨 亮(大连理工大学)