研究背景与问题

在当前的信息时代，随着人工智能技术的飞速发展，多模态对话情感识别成为了一个重要的研究领域。模态对话情感识别通过整合文本、音频、视频等多模态信息，实现了对话中逐话语的情感状态预测。然而，在实际应用中，情绪状态往往呈现出动态演变的特征，且不同模态间信息的不一致性也给情感识别带来了显著干扰，从而增加了识别的复杂性。这种动态性和模态间的差异使得情感识别任务变得极具挑战性，亟需有效的解决方案。

研究方法

为了解决上述问题，本研究提出了一种基于证据驱动的多模态对话混合情绪状态转移模型。该模型融合了多种证据类型，包括文本、音频和视频信息，通过构建一个多模态特征融合框架，实现了对这些不同模态信息的有效整合。具体而言，我们采用了以下策略： 1. 设计了一种基于深度学习的多模态特征提取方法，能够从不同模态中提取出具有代表性的特征。 2. 构建了一个证据融合模块，通过加权集成策略，将不同模态的特征进行整合，以减少模态间信息的不一致性。 3. 引入了一个情绪状态转移机制，用于捕捉情绪状态的动态变化，并通过转移概率矩阵来预测当前话语的情感状态。

核心结果

通过在多个公开数据集上的实验验证，我们的模型在情感识别任务上取得了显著的性能提升。具体而言，与传统的单一模态情感识别方法相比，我们的模型在准确率、召回率和F1分数等指标上均有明显提升。此外，模型在处理动态情感状态和模态间不一致性方面也表现出良好的鲁棒性。

结论与意义

本研究提出了一种基于证据驱动的多模态对话混合情绪状态转移模型，为解决模态对话情感识别中的动态性和模态不一致性问题提供了一种新的思路。该模型不仅能够有效整合多模态信息，还能够捕捉情绪状态的动态变化，从而提高了情感识别的准确性和鲁棒性。本研究的结果对于提升人机交互系统的智能化水平具有重要意义，并为相关领域的研究提供了新的参考和借鉴。