多模态大模型常被用来识别情绪，依据多是能直接观察到的线索：面部表情、语音语调、文字用词。论文指出，这种只看表面线索的做法容易变成线索与标签的机械对应，也就是所谓“聪明汉斯效应”。当线索含蓄、跨模态互相冲突、语言带有误导，或被冗余细节遮住时，判断就会变得不可靠。
研究受情绪评价理论启发，把多模态情绪理解拆成从感知到认知评价的过程，并给出数据集CogEmo-40K、模型CogEmo-MoE和评测基准CogEmo-Bench。模型采用交错式稀疏专家模块，针对六种评价维度做适配，规模比常见情绪模型小很多。基准引入评价证据质量分，关注的不是预测出什么情绪，而是这种情绪为何出现。
这件事和日常生活的关联在于，人判断他人情绪时，往往也在追问对方如何理解眼前发生的事。只看表情容易误读，补上评价这一层，机器给出的判断才更接近情境。论文的实验显示，该范式在基准上领先，并表现出较强的跨领域泛化。
把情绪还原为可观察线索固然方便，但情绪本身常藏在人对事件的解释里。这项工作的价值，也许不在于让模型更会猜情绪，而在于提醒我们：理解情绪，先要理解评价。
评论