第l7卷第6期 2016年l2月 信息工程大学学报 Journal of Information Engineering University V01.17 NO.6 Dee.2016 DOI:10.3969/j.issn.1671 673.2016.06.009 基于脑电信号的情绪评估研究综述 蒋静芳,曾 颖,林志敏,童 莉,闰 镔 (信息工程大学,河南郑州450001) 摘要:情绪在人类进化和日常生活中发挥着重要作用,脑电作为一种快速无创的神经信号测量 手段,已成为现有情绪评估的一种重要途径。在对情绪识别基本原理及信号特性分析的基础 上,重点阐述了情绪相关脑电特征的提取与选择,包括ERP成分、频率特征、基于脑活动不对 称性特征以及非线性特征;并介绍了基于脑电信号的情绪分类器设计。最后对基于脑电信号 情绪研究的发展和应用做了进一步的展望。 关键词:脑电信号;情绪;事件相关电位;特征提取;情绪识别 中图分类号:TP391 文献标识码:A 文章编号:1671 673(2016)06.0686 ̄8 Review on EEG.Based Emotion Assessment JIANG Jingfang,ZENG Ying,LIN Zhimin,TONG Li,YAN Bin (Information Engineering University,Zhengzhou 450001,China) Abstract:Emotion plays an important role in human evolution and daily life.As a swift method,e- lectroencephal0gram(EEG)has received considerable attention.This paper mainly focuses on the e— motion—related feature extraction and selection through analyzing emotion recognition rationale and signal characteristic,including the ERP components, ̄equency feature,asymmetric—based feature as well as the nonlinearity feature.In addition,we review the classifiers of the emotion recognition. Last,the further research is prospected. Key words:EEG;emotion;event-related potential;feature extraction;emotion recognition 别方法、自主神经系统测量方法以及脑测量方法。 0 引言 人们对于客观事物的认识总会伴随着喜、怒、 哀、恐、惊等情绪反应,故而情绪的变化势必会对人 其中,传统的情绪评估指利用情绪体验自我报告错 (self-assessment manikin,SAM)或是通过观察被试 的行为学反应…(面部表情、语音语调等)的方法。 这种方法操作简单,直观明了,但由于该方法的本 在决策、交流等方面造成不同程度的影响。随着人 工智能技术的不断发展,情绪识别已成为该技术进 一质是一种人为判定,其主观性大。而自主神经系统 测量方法是将生物反馈法引入到情绪状态的判断 步发展的必要环节。此外,在教育、医疗以及军 中,通过测量心率、血压、皮肤电阻、肌电等外周神 经活动指标来评定情绪状态的变化和唤醒水 平 ,这种方法虽然在一定程度上提高了其客观 程度,但其测量的指标仍然是情绪引起的一些间接 事等领域,情绪评估研究也有着广泛的应用。因 此,如何快速有效地对情绪进行识别评估是情绪研 究领域亟待解决的关键问题之一。 目前的情绪评估方法主要可分为传统主观判 反应,故存在识别准确率低且缺乏合理的评价标准 收稿日期:2015—12-31:修回日期:2016-01—22 基金项目:国家863计划资助项目(2012AA011603);河南省重点科技攻关项目(142102210099) 作者简介:蒋静芳(1989一),女,硕士生,主要研究方向为成像与智能信号处理。 第6期 蒋静芳等:基于脑电信号的情绪评估研究综述 687 等缺点。 群自发性、节律性的电活动 ,蕴含着丰富的思 维、情感、精神以及心理等活动。根据信号的产生 方式及特点,本文将基于脑电信号的情绪识别分为 基于ERP的情绪识别和基于EEG的情绪识别。 唤醒度 近年来,随着脑科学的迅速发展,脑成像技术 为情绪的脑机制研究提供了新的方法,使得读取人 们的情绪逐渐成为了可能。情绪的脑测量方法是 利用大脑信号在不同情绪下所产生的差异进行判 别的一种方式 J。这种方法相对于其它方法而 言,更加的客观、准确。其中,基于脑电(electroen— 兴奋 cephalogram,EEG)信号的情绪评估方法凭借着脑 电技术无创测量、时间分辨率高、便携性好以及成 愤怒 憎恨 恐惧 愉快 本较低的优点成为当前情绪评估研究的主要手段 之一。本文分别从情绪相关脑电信号的特性、情绪 脑电信号的诱发和获取以及基于脑电信号的情绪 识别方法3个方面展开论述,并对该领域研究的应 用前景进行展望。 1情绪识别的基本原理 1.1 情绪模型 回顾人们关于情绪实验与理论的研究,从 James—Lange理论肯定了生理因素与情绪之间的内 在联系,迎来了情绪生理学的高潮;到Wllhelm提 出了情绪的三维学说,使得情绪心理学得到重视并 发展;再到Schachter认识到认知因素对情绪过程 具有显著影响,形成情绪认知理论,100多年以来, 人们对于情绪的认识争论不断。 目前,较为普遍的认识是情绪的双系统模型和 多系统模型 。双系统模型认为情绪是由效价 (valence)和唤醒度(arousa1)两个维度构成,其中 效价指的是情绪体验及其强度,而唤醒度指与情绪 活动相伴随的机体唤醒程度。该模型中最具有代 表性的就是图l所示的Lange二维情绪分类模型。 而多系统模型则认为,情绪是不同基本元素的集 合,在重要的维度上相互区别,且每种情绪在进化 中有与之相对的重要事件,诸如愤怒(anger)、恐惧 (fear)、厌恶(disgust)、快乐(joy)、悲伤(sadness) 以及惊奇(surprise)。但对于多系统模型而言存在 这样的问题,即如何确定情绪的基本元素还没有明 确的定论,从而情绪的双系统模型受到更为广泛的 应用。 1.2基于脑电信号的情绪分类基本原理 情绪是一种伴随着认知和意识过程产生的对 外界事物态度的体验,为了能够对情绪测量,通常 所采用的方法是利用外部刺激进行诱发的方式,如 图片、视频等。 脑电信号包含着大脑皮层神经信息,是脑细胞 , 效价 悲伤 放松 沮丧 无聊 图1 Lange二维情绪分类模型 通过对大量试次脑电信号的叠加平均分析,研 究者发现,当向被试施加一定刺激时,大脑信号会 产生一种固定模式的电生理响应,即事件相关电 位 (event—related potential,ERP)。现有的心理 学研究表明,ERP成分可以敏感地反映出情绪活 动在大脑内的活动过程 lo],ERP成分对于不同的 情绪有着不同的体现,如对于早期成分而言,ERP 成分更侧重于情绪效价;而晚期成分则更侧重于情 绪唤醒度… (见表1),为实现基于ERP的情绪识 别方法提供了依据。在该方法下,ERP数据的获 取往往是基于特定的实验,如Oddball实验,该实 验将情绪刺激作为小概率事件,让被试观看70% 的标准刺激和30%的偏差刺激(情绪刺激),以此 激发情绪的ERP响应。 基于ERP的情绪识别具有特征意义明晰的优 势,然而,受到实验等方面的限制,该方法难以应用 于在线的情绪识别中。现阶段,多数基于脑电信号 的情绪识别方法是基于EEG信号展开研究的。 EEG信号中包含了大量的节律频段信息。神 经科学和心理学的研究表明,在EEG信号中,delta (1 Hz一4Hz),theta(4Hz~8Hz).alpha(8Hz~ 13Hz),beta(13Hz~30Hz)和gamma(30Hz以上)5 个频段与情绪等心理活动有着较为密切的关联,诸 如负性情绪与大脑额部左半球区域的alpha能量 相关,而正性情绪则与大脑额部右半球区域的a1. pha能量更为相关¨ 。因此,频域特征是情绪 EEG信号中的一种重要特征(见表1)。在基于 EEG的情绪识别方法中,EEG数据的获取包括了 基于外部刺激诱发的方式,同时还可采用让被试自 行回忆的方式,这将更有助于实现情绪的在线 688 信息工程大学学报 识别。 情绪的诱发、信号采集、脑电信号的预处理、情绪特 征提取与选择和情绪的识别。 但不论是基于ERP的情绪识别还是基于EEG 的情绪识别方法,其处理方法均可总结为5步,即 表1 脑电信号与情绪的相互关系 H竺兰 H望篁H H竺竺竺 文献[29]利用音乐片段作为刺激,构建了用于情 绪识别的数据库(DEAP),并对其进行了统计分析 图2基于脑电信号的情绪识别基本流程 等处理,确保了该数据集的情绪诱发的有效性。 2.2情绪相关脑电信号预处理 2情绪相关脑电信号的诱发与获取 2.1情绪诱发 情绪诱发是实现基于脑电信号的情绪识别的 由于脑电信号微弱,一般只有50uV左右,易 受到噪声的干扰,所以对于采集的脑电数据往往要 进行预处理,以提取出淹没在无关噪声中的有用 信号。 早先的伪迹处理方法一方面是通过控制被试 前提因素,目前最为常用的实验是通过外部刺激诱 发的方式。为了能够达到客观评估的目的,通过对 不同年纪、性别、种族的被试进行测试,一系列标准 化情绪刺激材料系统被相继提出。 此外,Ekman等人通过研究人的脸部肌肉动作 使之在实验过程中避免伪迹出现,另一方面是通过 观察,找出伪迹部分并将这一部分的数据排除 。 这种做法虽然简单,但会使得数据量难以达到期望 值,且增加被试二次认知任务 。目前,普遍采用 伪迹移除的方法,即标识并提取伪迹成分,对包含 伪迹成分的数据进行重构,从而得到“干净”的数 据。常用的方法包括自适应滤波、小波变换以及独 和表情之间的关系提出了一套面部行为编码系统。 在此基础上,文献[26]通过让被试做出不同的表 情来研究被试相应的情绪状态。 对于基于EEG的情绪识别而言,还有一种情 立成分分析等。 1996年,文献[32]首次将ICA用于脑电信号 分析,成功分离出眼电及工频干扰,独立成分分析 (independent component analysis,ICA)方法受到愈 绪的诱发方式称之为自诱发方式,测量被试的自发 情绪,然而此时难以对情绪的发生时间以及内容进 行判定。基于这一局限性,文献[27]利用语音提 示的方式,让被试回忆与提示情绪相一致的片段完 成了对于自发情绪的采集与识别。 与此同时,研究人员基于不同的情绪诱发实验 研究情绪,难以有统一的评价标准。为此,文献 [28]利用情绪视频片段以及标签一致实验建立了 为广泛的关注。随后,文献[33]在ICA独立成分 的基础上结合线性分类器和聚类实现了伪迹的自 动去除;文献[34]采用拉普拉斯参考校正ICA的 方法实现了实时伪迹去除;文献[35]结合实验获 取伪迹先验信息用于伪迹的自动去除,通过情绪脑 电数据进行验证,表明伪迹去除能在一定程度上提 用于情绪识别的多模态数据库(MAHNOB HCI)。 高情绪识别的准确率。 第6期 蒋静芳等:基于脑电信号的情绪评估研究综述 689 3基于脑电信号的情绪识别 3.1 脑电信号情绪特征提取与选择 特征提取是当前基于脑电的情绪识别研究中 的重点部分,好的特征是情绪识别得以实现的 保证。 3.1.1 情绪的ERP成分特征 根据情绪相关的ERP成分分析结果,文献 [36]采用5种ERP成分的潜伏期和幅值(P1、P2、 P3、Ⅳ1和N2),并利用离散小波提取多个频段脑活 动作为特征对情绪的效价和唤醒进行分类。文献 [37]选择信号的前3个最大和最小波峰的潜伏期 和幅值为ERP成分特征对正性和负性两类情绪进 行分类,在该特征的基础上研究了不同被试问的情 绪识别。 ERP成分作为情绪识别方法的特征的关键问 题在于ERP成分的提取。传统的ERP分析方法 是在相干平均的基础上开展的,但这种方法由于试 次数量的需求(大于60试次)往往难以适应实际 应用。近年来,针对单试次的ERP成分的提取方 法为其用于情绪评估提供了可行方法。文献[38] 采用了对于P3成分有较好提取效果的xDAWN算 法构建空间滤波器,提取虚拟电极下的P1、P3、N2 和LPP 4种ERP成分对应时间段的平均幅值作为 特征。结果表明,ERP成分适用于对同等效价的 情况下唤醒度的区分,而对于不同效价水平,其区 分度较差。然而,由于情绪属于高级认知功能,含 有更为复杂的ERP成分,从而需要更加有效的 ERP成分提取算法以实现情绪的识别。 3.1.2情绪的频率域特征。 根据不同的大脑状态往往可由不同脑区的节 律特征所表述 这一观点,文献[40]利用傅里叶 变换将原始脑电信号映射到theta、alpha和beta频 带上,并在功率谱的基础上求出了每个电极的功率 谱密度作为脑电特征。文献[41]利用视频刺激, 在上述的5个频带中使用快速傅里叶变换,并结合 线性动力学等方法对情绪进行识别并利用流形学 习拟合情绪曲线。文献[42]将原始脑电信号滤波 到4Hz~13Hz后,分别采用核密度估计和高斯混 合模型的方法提取出了对应脑区的脑电特征。文 献[43]采用视频片段诱发情绪,将不同频段能量 以及该频段的小波系数统计参数等作为脑电特征。 3.1.3 基于脑活动不对称性的特征。 针对不同的效价情绪,文献[44]对正性和负 性情绪的大脑活动研究发现,正性情绪诱发左前额 叶处的alpha能量呈下降趋势,对负性情绪而言, 其诱发右侧前额叶处的alpha能量呈下降趋势。 由此,研究者认为情绪的大脑活动具有不对称性。 不对称指数也就由此作为情绪衡量的一种特征,该 特征可利用大脑不对称特性计算,即对称电极间的 特征差值和比值: Ax= f一 Ax= f/x, (1) 其中,z,r分别表示左,右导联处的特征值。文献 [45]将电极之间的统计特征和分形维数的差值作 为特征,用于情绪识别。文献[46]以2s的时间窗, 计算alpha能量比率作为特征。文献[47]以音乐 作为刺激材料,利用短时傅里叶变换将脑电信号映 射到5个常见频带上并分别计算对应的功率谱密 度,再利用电极间的对称关系,组合出4组特征进 行后续的情感识别。文献[48]同时提取了左右对 称的27对导联的5个频带微分熵特征的差值和比 值以及23对前后对称导联的差值用于情绪识别并 探寻最佳导联和频带段。 此外,还可通过计算EEG导联间的多维信息 得到不对称性特征AsI ,能有效判定情绪是否 发生: S =s: +.s Jsr=s +s … ‘, Asl=(s 一st)× 其中,s 指左侧脑信号 的流向右侧脑信号y的 信息,同理5 表示由Y到 的信息流向;S,为双 向信息总量;S 指当没有情绪发生时的信息流向。 3.1.4 基于脑电信号的非线性特征 生物神经系统具有与混沌极相似的特性 , 而混沌理论又可近似表示非线性特性。文献[49] 使用 熵和Lyapunov指数作为特征,区分了积极、 消极和中性3种情绪。文献[50]在情绪效价一唤 醒度模型基础上,使用分形维数较好地区分了不同 效价的情绪。虽然利用非线性动力学可探寻到更 为深层次的特征,但是基于非线性特性的特征提取 方法的计算量较大,耗时较长,不利于实现在线评 估,需要进一步提高其运算速度。 此外,根据对于信号的观察分析,研究人员不 断尝试引入新的特征来提高情绪识别的准确率。 根据归一化后的脑电时序信号总是在0值处震荡 这一现象,文献[51]针对情绪的多系统模型,提出 690 信息工程大学学报 了一种情感识别脑电特征——高次交叉(high O1". der crossing,HOC),在一定程度上克服了被试问 差异性的问题。文献[52]以视听材料作为刺激, 利用多小波变换,对4类情绪得到可以区分情绪的 小波特征。 不同的特征体现了情绪与脑电信号的不同方 面,针对特定的情绪类别,可以采用不同的特征达 到较好的识别,同时多种特征的结合以相互补充. 提取更充分的特征也是目前常用的方法之一I5 。 3.2情绪分类器设计 情绪的识别指通过得到的脑电特征进一步确 定情绪状态的过程。现有的用于情绪识别的分类 算法包括有监督和无监督两种,其中有监督的算法 由于加入了情绪的类别标签,更利于识别的准确 率,更为广泛使用,包括支持向量机、神经网络以及 贝叶斯等方法。 支持向量机因其较好的泛化能力,且对于过拟 合以及维度的问题不敏感等优点,是目前情绪识别 中最常用的一种方法 。神经网络以样本的 类别信息为指导,不断修正中间层到输出层间的参 数权值,之后再利用训练出的感知器对样本进行分 类,文献[57]使用神经网络分类器对唤醒度和效 价进行了有效分类。文献[58]在情绪识别中采用 贝叶斯模型进行分类,这种方法通过先验分布表示 样本分类前的不确定性,并以后验分布的形式表示 样本的分类。相比于其它判别分类算法,它可以更 有效地拒绝不确定样本。近年来,深度学习的发展 也为脑电信号的识别提供了新的方法,文献[48] 利用深度可信网络(deep belife network,DBN)探 究了基于脑电信号情绪识别中的关键频段和导联, 有较好的识别效果。 但从个体脑电信号的差异性角度考虑,无监督 的情绪状态识别将更接近实际应用。针对基于 EEG情绪识别方法中的由被试自发产生的情绪信 号,由于无明确类别标签,基于无监督的情绪状态 识别更加合适。无监督的识别方法指对样本进行 模式训练时,由样本自身向特性相近的样本靠近, 远离与特性相异的样本,从而达到同类样本聚集, 异类样本分离的目的。文献[43]利用模糊c均值 聚类的方法,通过寻找类别本身的固有特征,找出 特征相似的样本,划分出高兴、害怕、厌恶和惊讶等 4种情绪类别。文献[59]在情绪效价空间里量化 正性情绪和负性情绪,采用6种无监督聚类算法构 建被试内和被试间的情绪模型,其中使用模糊c 均值聚类的表现较好。 4 应用前景 目前,随着脑科学以及信息科学的发展,基于 脑电的情绪评估受到心理学、认知科学、医学和信 息技术等众多领域的广泛关注。在临床应用方面, 随着人们生活压力的增大,抑郁程度的增加,人们 的负性认知能力也随之增加 。为此,通过对情 绪进行评估,一方面可以便于医护咨询人员更加快 速准确的评估与治疗,另一方面,人们可以根据基 于脑电的情绪反馈结果展开自我调节。 在商业领域,情绪评估可用于新品开发的体验 以及广告宣传效能评估,从而预测产品上市后的竞 争力。此外,随着人工智能的发展,智能家居、智能 机器人等一系列产品问世,情绪识别将使这些产品 更加智能化。 在军事领域,指挥官情绪程度影响着其决策水 平,执行者情绪同样影响着其执行能力。战场的情 绪实时监测技术将会保证其更加通畅的战场指挥 和交流。另一方面,“攻心为上”的兵法策略表明 了在战争中心理战的重要位置。在心理战中,宣传 品是一种重要的工具,其对人情绪影响水平是宣传 品是否能够达到预期效能的重要指标之一。 5 结束语 虽然对基于脑电情绪的研究已开展多年,但是 由于对情绪和脑电信号的认识还存在局限,有许多 问题有待进一步研究。①由于目前多数的研究还 处于实验室环境下,相对干扰较小,在实际使用时, 更高效的伪迹去除方法是需要解决的关键问题; ②针对基于ERP的情绪相关成分,需要更深入地 研究人脑情绪相关的机制,这有助于构建基于脑电 信号的情绪识别模型,以进一步提高识别的准确 率;③在特征提取方面,现有研究在ERP和脑电的 节律特性上已分别有一些研究成果,两者的结合将 能够更全面、深入地描述不同情绪的脑电特征; ④与现有的单元分析相比,双元分析或是多元脑电 信号分析的效果更好 ,其中,相位同步分析是最 为常用的方法之一,可以考虑结合相位同步分析的 多元脑电信号特征提取方法,以进一步提高特征的 识别;⑤相比于单脑区,情绪特征更可能存在于脑 区之间。。 ,进一步考虑脑区间的联系,可以加深 对情绪与脑信号关系的认识。此外,考虑融合其它 测量方法以弥补脑电的不足,以期更加全面地对情 第6期 蒋静芳等:基于脑电信号的情绪评估研究综述 691 绪进行研究,如融合功能磁共振成像技术信息 能够弥补脑电的空间分别率不足的缺点等。 不论是对于人们的日常生活,还是对于某些特 殊领域来说,情绪评估的研究都是具有非常重要的 理论意义和现实意义。为此,如何在已有的心理 学、认知科学、信息科学等研究基础上,不断地优化 情绪识别的精准度以及提高识别的速度是实现基 于脑电信号的情绪评估实用化系统仍需进一步研 究的关键。 参考文献 [1] Bradley M M,Lang P J.Measuring emotion:the self-as— sessment manikin and the semantic differential[J].Jour・ nal of behavior therapy and experimental psychiatry, 1994,25(1):49—59. [2]Keith Anderson,Peter W McOwan.A rea1.time automa- ted system for the recognition of human facial expres— sions.[J].Systems,Man and Cybernetics,Part B, 2006,36(1):96-105. [3]Verma G K,Tiwary U S.Muhimodal fusion framework: A multiresolution approach for emotion classification and recognition from physiological signals[J].Neuroimage, 2013,102:162-172. [4]Cabanac M.What is emotion[J].Behavioural processes, 2002,60(2):69-83. [5]唐孝威.心智解读[M].杭州:浙江大学出版社, 20l2:76—86. [6]Lang P J,Bradley M M,Cuthbert B N.The International Affeetive Picture System(IAPS)in the study of emotion and attention『M].Handbook of Emotion Elicitation and Assessment,Oxford:Oxford university press,2007: 29_46. [7]Ekman P.An argument for basic emotions[J】.Cognition &emotion,1992,6(3-.4):169・200. [8]李颖洁.脑电信号分析方法及其应用[M].科学出版 社,2009:1.13. [9]Steven J.事件相关电位基础[M].上海:华东师范大 学出版社.2009:3-6. [1O]施壮华,沈模卫.心理学中脑电研究方法探讨[J]. 心理科学,2002,25(1):88.90. [11]Sehupp H T,Stockburger J,Codispoti M,et a1.Selec- tive visual attention to emotion[J].The Journal of Neu- roscienee,2007,27(5):1082—1089. [12]Michela Balconi,Guido Mazza.Brain oscillations and BIS/BAS(behavioral inhibition/activation system) effects on processing masked emotional cues.:ERS/ ERD and coherence measures of alpha band[J].In- ternational Journal of Psychophysi0logy,2009,74(2): l58—165. [13] Smith N K,Cacioppo J T,Larsen J T,et a1.May I have your attention,please:electrocortical responses to posi— tive and negative stimuli[J].Neuropsychologia,2003,41 (2):171—183. [14] It0 T A,Larsen J T,Smith N K,et a1.Negative informa- tion weighs more heavily on the brain:the negativity bi- as in evaluative categorizations[J].Canadian Metallurgi・ cal Quarterly,1998,75(4):887-900. [15] Meng Xianxin,Yuan Jiajin,Li Hong.Automatic pro— cessing of valence differences in emotionally negative stimuli:Evidence from an ERP study[J].Neuro- science letters,2009,464(3):228—232. [16] Schupp H T,Stockburger J,Codispoti M,et a1.Stim— ulus novelty and emotion perception:the near absence of habituation in the visual cortex[J].Neuroreport, 2006,17(4):365—369. [17] Lithari C,Frantzidis C A,Papadelis C,et a1.Are Fe— males More Responsive to Emotional Stimuli?A Neuro— physiological Study Across Arousal and Valence Dimen- sions[J].Brain Topography,2010,23(1):27-40. [18] Degabriele R,Lagopoulos J,Malhi G.Neural corre— fates of emotional face processing in bipolar disorder: an event~related potential study[J].Journal of affec— tive disorders,2011,133(1):212—220. [19] 罗跃嘉,黄宇霞,李新影,等.情绪对认知加工的影 响:事件相关脑电位系列研究[J].心理科学进展, 2006,14(4):505—510. [2O] Davidson R J.Anterior cerebral asymmetry and the na— ture of emotion[J].Brain and Cognition,1992,20(1): 125.151. [21] Keil A,tiller M M M,Gruber T,et a1.Effects of emo— tional arousal in the cerebral hemispheres:a study of os- cillatory brain activity and event—related potentials[J]. Clinical Neurophysiology,2001,l12(1 1):2057—2068. [22] Sammler D,Grigutsch M,Fritz T,et a1.Music and emotion: electrophysiological correlates of the process- ing of pleasant and unpleasant music[J].Psychophys— iology,2007,44(2):293—304. [23] Petrantonakis P C,Hadjileontiadis L J.A novel emotion elicitation index using frontal brain asymmetyr for en— hanced EEG~based emotion recognition[J].Informa— tion Technology in Biomedicine,201】,l5(5): 737-746. [24] Park K S,Choi H,Lee K J,et a1.Emotion recognition based on the asymmetric left and right activation[J]. International Journal of Medicine and Medical Sciences, 201I,3(6):201—209. [25] Lang P J,Bradley M M,Cuthbert B N.International af- 692 信息工程大学学报 2016正 fective picture system(IAPS):Technical manual and S,Harquel S,et a1.Single-trial [38] Mathieu N G,Bonnetaffective ratings[J].NIMH Center for the Study of E— motion and Attention,2006,77:352—360. ERP classiifcation of emotional processing[C]//Neural Engineering(NER),2013 6th International IEEE/EM— BS Conference on.2013:101・104. [26]Coan J A,Allen J J,McKnight P E.A capability model of individual diferences in frontal EEG asymmetry[J]. Biological psychology,2006,72(2):198—207. [39] 吴畏.基于统计建模的多导联脑电信号时空建模方 法研究[D].北京:清华大学,2012. lanas L I,Lotova N V,Koshkarov V I,ct a1.Non— [4O] Aflinear dynamic complexity of the human EEG during e— [27]Kotbe C A,Makeig S,Onton J A.Emotion Recognition from EEG During Self-Paced Emotional Imagery[C]// Affective Computing and Intelligent Interaction(ACII), 2013 Humaine Association Conference on. 2013: voked emotions[J].International Journal of Psycho- physiology,1998,28(1):63・76. 855.858. [28]Soleymani M,Lichtenauer J,Pun T,el a1.A MuhiMo— del Datebase for Affect Recognition and Implicit Tagging [J].Affeetive Computing,2012,3(1):42—55. [29]Koelstra S,Muhl C,Soleymani M,et a1.DEAP:A Database for Emotion Analysis Using Physiological Sig— nals[J].Affective Computing,2012,3(1):18—31. [30]Vigdrio R N.Extraction of ocular artefacts from EEG u— sing independent component analysis[J].Electroen— cephalography and clinical neur。physi01ogy,1997,103 (3):395404. [3 1]Gratton G.Dealing with artifacts:The EOG contamina— tion of the event—related brain potential[J].Behavior Research Methods,Instruments,&Computers,1 998, 3O(1):44・53. [32]Makeig S,Bell A J,Jung T P,et a1.Independent COB— ponent analysis of electroencephalographic data[C]// Advances in neural information processing systems 8, Boston:the MIT press.1996:145—151. [33]Winkler I,Haufe S,Tangermann M.Automatic classifi— cation of artifactual ICA—-components for artifact remov— al in EEG signals[J].Behavioral and Brain Functions, 2011,7(1):3045. [34]Abbass H A.Calibrating independent component analy— sis with laplacian reference for real—time EEG artifact re— moval[C]//Neural Information Processing.Springer In— ternational Publishing.2014:68-75. [35]Zhang C,Tong L,Zeng Y,et a1.Automatic Artifact Removal from Electroencephalogram Data Based on A Priori Artifact Information『J].BioMed Research Inter— national,2015,2015(1):720450. [36]Frantzidis C A,Bratsas C,Papadelis C L,et a1.To— ward emotion aware computing:an integrated approach using muhichannel neurophysiological recordings and af- feetive visual stimuli[J].Information Technology in Bi— omedicine,2010,14(3):589・597. [37]Bozhkov L,Koprinkova—Hristova P,Georgieva P.Learn— ing to decode human emotions with Echo State Networks [J].Neural Networks,2016,78:1 12-1 19. [41] Nie D,Wang X W,Shi L C,et a1.EEG—based emotion recognition during watching movies[C]//Neural Engi— neering(NER),201 1 5 th International IEEE/EMBS Conference on.201 l:667-670. [42] Khosrowabadi R,Wahab A,Ang K K,et a1.Affective computation on EEG correlates of emotion from musical and vocal stimuli[C]//Neural Networks,2009.IJCNN 2009. International Joint Conference oil. 2009: 1590.1594. [43] Murugappan M,Rizon M,Nagar ̄an R,et a1.Time— frequency analysis of EEG signals for human emotion de— tection[C]//4th Kuala Lumpur International Conference on Biomedical Engineering 2008.2008:262—265. [44] Tomarken A J,Davidson R J,Henriques J B.Resting frontal brain asymmetry predicts affective responses to iflms[J].Journal of personality and social psychol— ogy。1990,59(4):791—801. [45] Liu Y,Sourina O.Real—time fractal・based valence level recognition from EEG[M]//Transactions on Computa— tional Science XVlll,2013:101—120. [46] Brown L。Grundlehner B.Penders J.Towards wireless emotional valence detection from EEG[c]//Engineering in Medicine and Biology Society,EMBC,201 1 Annual International Conference of the IEEE.201 1:2188—2191. [47] Lin Y P,Yang Y H,Jung T P.Fusion of electroen— cephalographic dynamics and musical contents for esti— mating emotional responses in music listening[J].Fron— tiers in neuroscienee,2014,94(8):1—14. [48] Zheng W L,Lu B L.Investigating Critical Frequency Bands and Channels for EEG—based Emotion Recognition with Deep Neural Networks[J],IEEE Transactions on Autonomous Mental Development,2015,7(3):162-175. [49] Aftanas L 1,Lotova N V,Koshkarov V I,et a1.Non— linear analysis of emotion EEG:calculation of Kolmog— orov entropy and the principal Lyapunov exponent[J]. Neuroscience letters,l997,226(1):13—16. [5O] Liu Y,Sourina O.EEG databases for emotion recogni・ tion[C]//Cyberworlds(CW),2013 International Con ference on.2O13:302—309. 第6期 蒋静芳等:基于脑电信号的情绪评估研究综述 Recognition[J].Emotion,2013(1):56-60. 693 [51] Petrantonakis P C,Hadjileontiadis L J.Emotion recog- nition from EEG using higher order crossings[J].Infor・ mation Technology in Biomedicine,2010,14(2): 186.197. [58]Ko K E,Yang H C,Sim K B.Emotion recognition u- sing EEG signals with relative power values and Bayes・ ian network[J].International Journal of Control,Au— tomation and Systems,2009,7(5):865・870. [52] Bajaj V,Pachori R B.Human Emotion Classification rfom EEG Signals Using Muhiwavelet Transform[C]// Medical Biometrics(ICMB),2014 International Confer- ence on.2014:125—130. i S,Mauri M,Barbieri R,et a1.Automatic quanti・ [53] Scott ●[59]Georgieva 0,Milanov S,Georgieva P,et a1.Learning to decode human emotions from event—related potentials [J].Neural computing&applications,2015,26(3): 573-580. tative evaluation of emotions in E—learning applications [60]杨致蓉.抑郁症患者认知功能、应对方式研究[D]. 杭州:浙江大学,2006. [C]//Engineering in Medicine and Biology Society, 2006.EMBS O6.28th Annual International Conference of the IEEE.2006:1359—1362. [61]Aarabi A,Fazel・rezai R,Aghakhani Y.EEG Seizure Prediction:Measures and Challenges[C]//3 1 th Annual International Conference of the IEEE Engineering in Medicine and Biology Society,Minneapolis.2009:1 864一 l867. rL r●,rL Zhang Q,Lee M.A hierarchical positive and negative [54] emotion understanding system based on integrated analy- sis of visual and brain signals[J].Neurocomputing, 2010,73(16):3264—3272. ¨ [62]Mauss I B,Robinson M D.Measures of emotion:A re. 1J 1J 1J [55] Zhu Y,Wang S,Ji Q.Emotion recognition from users EEG signals with the help of stimulus VIDEOS[C]// Multimedia and Expo(ICME).2014:1-6. ewart A X,Nuthmann A,Sanguinetti G.Single・tialr [56] Stview[J].Cognition and emotion,2009,23(2): 209.237. [63]Lee Y Y,Hsieh S.Classifying different emotional states by means of EEG-based functional connectivity patterns classification of EEG in a visual object task using ICA [J].PloS one,2014,9(4):e95415. [64]雷旭.基于贝叶斯理论的EEG—fMRI融合技术研究 [D].成都:电子科技大学,2011. and machine learning[J].Journal of neuroscience methods,2014,228:1—14. ngh M,Singh M M,Singhal N.ANN Based Emotion [57] Sio●0●0●0●0●o●0●0●o●0●0●o●0●o’ ・ ●・9●000●o●<>●o●o●o●o●o●0●o●o●o●o●o●o●00o●o●0●o●o●o●o●o●0●o● (上接第650页) [7]Xie F,Xu M,Chen Z.Rbra:a simple and efifcient rat- ing-based recommenderalgorithm to cope with sparsity in Ziegler C N.Lausen G.Analyzing correlation between trust and user similarity in onlinecommunities[C]//Pa・ per presented at the second international conference on trnstmanagement.2004,2995:25 1-265. recommender systems[C]//Proceedings oflhe 26th IEEE Conference on Advanced Information Networking andAp— plications Workshops.2006:306-31 1. 朱郁筱,吕琳嫒.推荐系统评价指标综述[J].电子 科技大学学报,2012,41(2):163-175. Cacheda F,Carneiro V,Fernandez D,et a1.Compari. son ofcollaborative filtering algorithms:limitations of eurrenttechniques and proposals for scalable,high-per- [8]曹振华.随机数学基础[M],北京:高等教育出版 社,2009. [9]Salakhutdinov R,Mnih A.Probabilistic matrixfactoriza. tion[J].Advances in Neural Information ProcessingSys・ terns,2008,20(1):1257-1264. fomancerrecommender systems[J].ACM Transactions on Web,201l,5(2):l_33. [10]Sheldon M Ross,统计模拟[M].王兆君,译.北京: 人民邮电出版社,2007. 黄崇福,王家鼎.模糊信息优化处理技术及其应用 [M].北京:航空航天出版社,1995.