引言

情感计算是指由情感引发的、和情感有关的或者对情感有影响或起决定作用的计算^[1]。情感计算是人机交互中一个重要的研究方向，常用的情感计算中的输入信号有图像、音频、文本和生理信号^[2]，而相对于图像等输入信号，生理信号有着不易掩饰的特点，更能反映出真实的情感状态，因此在临床诊断和治疗上有着不可替代的优势和重要作用^[2]。在基于生理信号的情感计算领域，应用最多的生理信号是脑电图，其次是心电图和心率变异性(heart rate variability，HRV)等数据^[2]，其中HRV相对于脑电图在日常生活中更容易获取，又比心电图更直观，能够使得情感的日常检测更加简便。HRV是指连续心率间期的变化情况，能够反映心脏自主神经系统对心血管的调节，可以作为测量和调节情感反应的手段^[3]。

目前，基于生理信号的情感计算模型有两种^[4]，一种是离散情感模型，另一种是维度情感模型。离散情感模型将情感分成几类，例如喜悦、愤怒、悲伤等^[5]。离散情感模型目前在情感识别领域中已得到广泛的应用。He等^[6]采集了11名志愿者的心电图和呼吸信号，利用支持向量机对4种情感进行了识别，针对4种情感的识别准确率分别达到了81.82%、63.64%、54.55%和30.00%。Guo等^[7]利用HRV信号对积极和消极两种情感状态进行了识别，准确率分别达到了71.4%和56.9%。Cai等^[8]利用脑电图对抑郁和非抑郁两种情感状态进行识别，准确率达到86.98%。但情感的变化通常是连续的、渐变的，情感状态也是复杂的，而离散情感模型不足以描述真实的情感状态。维度情感模型是将情感状态映射到连续的空间中，将离散的情感状态看作是不同维度上的连续的组合，能够反映情感的强度，表现出复杂的多类情感的混合状态，弥补了离散情感模型的不足^[9]。PAD(pleasure：愉悦度；arousal：唤醒度；dominance：优势度)三维情感模型和效价-唤醒二维情感模型^[10]是常用的维度情感模型。近年来，维度情感模型在生理信号情感计算上的应用十分广泛。Song等^[11]利用脑电信号对维度情感进行了识别，在愉悦度、唤醒度和优势度上的准确率分别达到了86.23%、84.54% 和85.02%。Samara等^[12]利用脑电信号在效价和唤醒两个维度上对情感进行了识别，准确率分别达到79.83%和60.43%。

在连续维度情感的预测上，Keren等^[13]利用皮肤电活动和心电图对唤醒和效价两个维度进行了预测，其一致性相关系数分别达到了0.430和0.407, 平均值小于0.5。Yu等^[14]基于图像和心率对愉悦、唤醒和优势这3个维度情感进行预测，在3个维度上的一致性相关系数分别达到了0.253 0、0.101 4和0.052 1，平均值小于0.3。这些研究虽然考虑了维度情感的连续性问题，但预测精度仍然不足。随着人工智能的发展，神经网络和支持向量回归(support vector regression, SVR)常被用于回归预测中。神经网络训练的数据需求量大，因此对于小样本的生理信号，SVR更具优势^[15]。因主成分分析(principal component analysis，PCA)能够减少输入向量的维数，降低计算的复杂性，本文以PAD三维情感模型为基础，从日常生活中易于获取的心率和心率间期中提取HRV特征，并利用PCA对HRV特征降维，最后经SVR模型训练预测PAD维度的数值。结果表明本文所提方法在3个维度上的平均一致性相关系数达到了0.51，相比于SVR、极限学习机(extreme learning machine, ELM)、基于PCA和ELM的预测方法具有更好的预测精度，且优于文献[14]、^[15]中的方法。此外，本文提出的方法能够量化地反映情感状态，为情感状态提供了更为细致的划分，在心理治疗的跟踪方面具有优势，可简化心理疾病治疗中多次对患者症状进行评级的过程，以数值直观地反映出情感状态的程度，再结合传感器及可穿戴设备，便于情感的日常检测。

1 PAD三维情感模型

PAD三维情感模型是由Mehrabian和Russell^[16]于1974年提出的维度情感理论，在PAD情感理论中，情感被分为3个维度，其中P表示愉悦度(pleasure)、A表示唤醒度(arousal)、D表示优势度(dominance)。愉悦度表示个体情感的积极或消极状态，唤醒度表示个体生理神经的唤醒程度，优势度表示个体对于环境和他人的控制程度。PAD三维情感模型如图 1所示。

在PAD情感模型中，情感坐标的评定是通过一套基于PAD模型设计的量表来完成的。Mehrabian^[17]编制了一个包括34个项目的完整量表，考虑到某些情况下需要参与者对情绪状态进行多次评价，于是进一步提出了简化的PAD情感量表，其中文版如表 1所示。李晓明等^[18]对简化的PAD情感量表进行了中国化的修订，验证了中文简化版PAD量表的有效性。简化PAD情感量表共计12项，每项为一组词意对立的情感词汇，分值从-4到4，可根据自身实际感受按照量表中所给词汇进行打分，例如第一项中数值如果为-4代表愤怒程度最高，如果为4代表感兴趣程度最高。PAD数值可通过PAD量表计算得到，具体公式为

$ \left\{\begin{array}{l} { Value }_{\mathrm{P}}=\left(V_{1}-V_{4}+V_{7}-V_{10}\right) / 4 \\ { Value }_{\mathrm{A}}=\left(-V_{2}+V_{5}-V_{8}+V_{11}\right) / 4 \\ {Value}_{\mathrm{D}}=\left(V_{3}-V_{6}+V_{9}-V_{12}\right) / 4 \end{array}\right. $

(1)

式中，V₁~V₁₂代表每行记录的数值。通过PAD数值标注，将离散的情感状态映射到连续的维度空间中，以维度情感的数值来表示情感状态，体现了情感的连续性^[19]。

2 基于PCA-SVR的预测模型 2.1 主成分分析

主成分分析即将一组具有一定相关性的特征集转换成一组互不相关的特征^[20]，是一种常用的降维方法。

对于标准化处理样本S，其原始元素为s_ij，标准化后元素为s_ij^*，计算式为

$ \begin{array}{l} \ \ \ \ \ \ \ \ s_{i j}^{*}=\frac{s_{i j}-\bar{s}_{j}}{\sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n}\left(s_{i j}-\bar{s}_{j}\right)^{2}}}, i=1, 2, \cdots, n ; j= \\ 1, 2, \cdots, m \end{array} $

(2)

式中，n为样本个数，m为影响因素个数。计算相关系数矩阵R

$ \boldsymbol{R}=\left[\begin{array}{ccccc} r_{11} & r_{12} & \cdots & r_{1 m-1} & r_{1 m} \\ r_{21} & r_{22} & \cdots & r_{2 m-1} & r_{2 m} \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ r_{n 1} & r_{n 2} & \cdots & r_{n m-1} & r_{n m} \end{array}\right] $

(3)

式中，$ r_{i j}=\text { Cov }\left(\sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n}\left(s_{i j}-\bar{s}_{i}\right)^{2}}, \sqrt{\frac{1}{n-1} \sum\limits_{i=1}^{n}\left(s_{i j}-\bar{s}_{j}\right)^{2}}\right)$，计算R的特征值λ=(λ₁, λ₂, …, λ_m)和特征向量a_i=(a₁, a₂, …, a_m)，并选择前K个因素求累计贡献度

$ \theta=\sum\limits_{i=1}^{K} \lambda_{i} / \sum\limits_{i=1}^{m} \lambda_{i} $

(4)

由前K个特征向量组成的降维矩阵P=[p₁, p₂, …, p_K]，降维后的特征矩阵S^′=SP。

2.2 支持向量回归

支持向量回归是以统计学为基础，将输入向量非线性地变换到高维特征空间中, 然后在高维特征空间中进行线性回归, 以实现在原空间的非线性回归，达到理想学习的效果^[21]。

假设样本集为{(x₁, y₁), (x₂, y₂), …, (x_n, y_n)}，其中x_i=(x_i1, x_i2, …, x_im)表示特征向量。SVR主要用于求得样本输入数据x对应的预测值y。假设x与y之间的函数关系表达式为

$ y=f(\boldsymbol{x})=\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}(\boldsymbol{x})+b $

(5)

式中，φ(x)=(φ₁(x), φ₂(x), …, φ_m(x))^T是m维列向量；ω=(ω₁, ω₂, …, ω_m)^T是m维权向量，表示进行线性回归时的权重；b为偏置值。输入数据x映射到m维的特征空间内变成φ(x), 使得φ(x)与y的关系为线性关系，输入数据空间内的非线性拟合问题变为高维特征空间内的线性拟合问题。

SVR采取ε-不敏感函数作为损失函数。首先，针对具体问题定义一个常量ε > 0，对于某一样本(x_i, y_i)，如果|y_i-ω^Tφ(x_i)-b|≤ε，则完全没有损失，否则对应的损失为|y_i-ω^Tφ(x_i)-b|-ε。即ε-不敏感函数可整理为

$ \begin{aligned} &e\left(\boldsymbol{x}_{i}\right)= \\ &\left\{\begin{array}{l} 0, \left|y_{i}-\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)-b\right| \leqslant \varepsilon \\ \left|y_{i}-\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)-b\right|-\varepsilon, \left|y_{i}-\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)-b\right|>{\varepsilon} \end{array}\right. \end{aligned} $

(6)

为使损失函数最小，基于结构风险最小化准则，确定ω和b的约束条件并对目标函数进行优化，构建最优化准则

$ \left\{\begin{array}{l} \min J \mid J=\frac{1}{2} \boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\omega}+\frac{1}{2} c \sum\limits_{i=1}^{n} e_{i}^{2} \\ y_{i}=\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)+b+e_{i} \end{array}\quad i=1, 2, \cdots, n\right. $

(7)

式中，J为目标函数，e_i为松弛变量，c为正则化函数。利用拉格朗日函数将式(7)转化为对偶形式

$ \begin{array}{l} \ \ \ \ \ \ \ \ L(\boldsymbol{\omega}, b, e, \alpha)=J-\sum\limits_{i=1}^{n} \alpha_{i}\left\{\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)+b+e_{i}-\right. \\ \left.y_{i}\right\} \end{array} $

(8)

式中α_i为拉格朗日因子。用式(8)求解最优解，令式(8)对ω、b、α_i和e_i的偏导均为0，可得

$ \begin{aligned} &\boldsymbol{\omega}=\sum\limits_{i=1}^{n} \alpha_{i} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right) \\ &\sum\limits_{i=1}^{n} \alpha_{i}=0 \\ &y_{i}=\boldsymbol{\omega}^{\mathrm{T}} \boldsymbol{\varphi}\left(\boldsymbol{x}_{i}\right)+b+e_{i} \\ &e_{i}=-\alpha_{i} / c \end{aligned} $

(9)

整理可得

$ y=f(\boldsymbol{x})=\sum\limits_{i=1}^{n} \alpha_{i} K\left(\boldsymbol{x}, \boldsymbol{x}_{i}\right)+b $

(10)

式中，径向基核函数K(x, x_i)=φ(x)^Tφ(x_i)。

2.3 基于PCA-SVR的PAD预测流程

本文中所提的基于HRV特征和PCA-SVR的PAD预测方法结合可穿戴设备，从压力脉搏获取的心率和心率间期数据中提取HRV时域、频域和非线性特征，经过PCA抽取HRV主成分后经SVR模型训练预测得到PAD数值。具体步骤如下。

1) 经过诱导实验获取相应情感状态的心率和心率间期数据，并通过PAD量表进行标注。

2) 从心率和心率间期数据中提取HRV时域、频域和非线性特征，并通过PCA提取HRV的主成分特征。

3) 按照2∶1的比例划分训练集和测试集，最后经SVR训练预测得到PAD的3个维度的预测值。

3 实验与分析 3.1 实验数据

本文利用安装了柔性离子传感器的穿戴设备^[22]，通过配套的Matlab软件接收传感器发送的数据。共采集了12名志愿者经视频和音乐诱导后的心率和心率间期数据，每组数据包含焦虑和放松两种情感状态，视频是由电影片段剪辑而成，诱导焦虑情感，音乐是一首舒缓的钢琴和管弦民谣，诱导放松情感。传感器及穿戴设备如图 2所示。数据采集过程中，志愿者保持坐立姿势，在视频和音乐过后，让志愿者分别填写两次PAD量表，根据量表中各项数值计算PAD数值。通过PAD数值的标注，实现从离散的情感状态到连续空间的映射。根据文献[16]，焦虑情感的PAD数值范围为(Value_P < 0, Value_A > 0, Value_D < 0)，放松情感的PAD数值范围为(Value_P>0, Value_A < 0, Value_D > 0)。根据由PAD量表计算得到的PAD数值是否在对应的情感范围内来判断数据的有效性。

3.2 HRV特征提取

通过对采集数据进行时域、频域和非线性分析，共提取了19维特征，如表 2所示。其中采用均值和方差等统计方法提取了8个时域特征，对应表中编号1~8；根据Welch功率谱法^[23]提取了7个频域特征，对应表中编号9~15；根据Poincaré散点图^[24]、熵分析^[25]和分形维数^[26]提取了4个非线性特征，对应表中编号16~19。

3.3 主成分提取

HRV特征经PCA处理得到主成分贡献率和累计贡献度，如表 3所示。

当利用PCA对特征进行分析的累计贡献度大于85%时，可认为当前主成分已包含原始数据中的信息，且累计贡献度越大，包含的信息越多^[27]。根据主成分贡献度，本文选择累计贡献度直至达到99%的前12个主成分(对应于表 3中主成分1~12)作为SVR模型的输入特征。

3.4 性能指标

本文采用均方误差E_MS(MSE)、相关系数ρ和一致性相关系数ρ_c对模型进行评价，其公式如下。

$ E_{\mathrm{MS}}=\frac{1}{n} \sum\limits_{i=1}^{n}\left(y_{i}-\hat{y}_{i}\right)^{2} $

(11)

$ \rho=\frac{\operatorname{Cov}(y, \hat{y})}{\sigma_{y} \sigma_{\hat{y}}} $

(12)

$ \rho_{\mathrm{c}}=\frac{2 \rho \sigma_{y} \sigma_{\hat{y}}}{\sigma_{y}^{2}+\sigma_{\hat{y}}^{2}+(\bar{y}-\bar{\hat{y}})^{2}} $

(13)

式中，y和$\hat{y} $为期望输出和预测输出，n为测试集样本个数，σ_y和$\sigma_{\hat{y}} $分别为期望输出和预测输出的标准偏差。MSE越小，预测结果越准确，ρ越接近于1，预测输出与期望输出的拟合度越高，ρ_c越接近于1，说明模型的整体表现越好。

3.5 实验结果与分析

对于2.3节中划分的训练集和测试集，其中单一情感状态的训练集样本个数为8个，测试集样本个数为4个，混合情感状态的训练集样本个数为16个，测试集样本个数为8个。采用本文所提方法在单一情感状态和混合情感状态下分别通过实验进行预测，并与SVR、ELM^[28]和基于PCA的ELM(PCA-ELM)这3种预测方法进行了对比，其中放松情感状态下的预测结果如表 4所示，焦虑情感状态下的预测结果如表 5所示，放松和焦虑两类混合情感状态下的预测结果如表 6所示。

结合表 4、表 5的预测结果可以看出，在放松情感状态下，P维度上PCA-SVR方法相对于SVR方法仅在MSE上有所提升，在D维度上ρ和MSE均有提升，而在A维度上3个指标均有所降低。在焦虑情感状态下，PCA-SVR方法相对于SVR方法在P维度上ρ提升较大，而ρ_c有所降低，A维度上MSE提升较大，而ρ稍有降低，D维度上ρ提升较大，ρ_c有所降低。在两种单一情感状态下，PCA-SVR方法相对于SVR方法ρ_c都有所下降，说明在单一情感状态下，PCA-SVR模型相对于SVR模型的优势并不明显。从表 6的预测结果可以看到，在混合情感状态下，PCA-SVR模型在A维度上的MSE稍差于SVR模型；在D维度上ρ和ρ_c稍有下降，MSE有所提升；在P维度上，3个指标均有所提升。从3个维度综合来看，PCA-SVR相对于ELM、PCA-ELM和SVR在ρ_c上分别提升了0.10、0.04和0.14，且在另外两个指标上也有不同程度的提升，因此在整体上PCA-SVR具有更好的预测效果。

在单一情感状态下，从4种方法的评价指标可以得到，经过PCA处理的模型(PCA-SVR和PCA-ELM)相对于原有模型(SVR和ELM)提升效果不明显甚至没有提升，原因是在单一情感状态下的训练数据较少，不同方法的预测结果差异较大。放松和焦虑两类混合情感状态下PCA-SVR模型在3个维度上的标注值和预测值对比如图 3~5所示。

从图 3~5可以看出，在P维度和A维度上，PCA-SVR模型能够很好地反映出情感变化情况，而在D维度上预测值的变化趋势与标注值相比并不非常吻合。结合表 6中指标，PCA-SVR模型能很好地在愉悦度和唤醒度上识别和预测情感，在优势度上的预测效果相对于其他两个维度较差，说明在区分愉悦-非愉悦和唤醒-非唤醒上PCA-SVR模型具有更好的效果。

综合以上实验结果，本文所提方法能在一定程度上反映出情感变化的趋势，对于某些消极情感的预警有一定的指示作用。对于需要细致划分的情感，通过PAD数值预测可以达到精细划分的目的，在情感识别和分析方面起到了补充作用。

4 结束语

本文提出了基于HRV特征和PCA-SVR的PAD维度情感预测模型。在混合情感状态下的3个维度上MSE平均仅为1.03，ρ平均达到0.78，ρ_c平均为0.51，对比SVR、ELM和PCA-ELM这3个模型，PCA-SVR模型在3个评价指标上均有提升，其中在一致性相关系数上分别提升了0.14、0.10和0.04，同时预测精度优于文献[14](ρ_c < 0.5)和文献[15](ρ_c < 0.3)中使用的方法。本文提出的方法能以较高的准确性预测PAD维度数值，可以直观地反映情感的程度，是对情感识别手段的补充。通过本文所提方法可简化情感相关疾病的治疗过程中多次评级的过程，能更直观地表示情感的程度，且HRV信号便于获取，结合可穿戴设备更适合日常生活中的情感检测。在未来的研究中，会考虑更多类型的情感，扩充数据集，并在预测模型上作出改进。