地理数据的基本特征范文

关键词：图数据；模糊测量；多标签；特征选取；边枝界定

1.多标签图数据分类研究背景

传统分类方法主要研究单标签分类问题，使用的数据样本只拥有单个标签，如C4.5，SVM，K近邻算法等。然而在许多实际问题中，样本数据可能拥有多个标签。多标签分类就是针对多标签数据的特点，利用数据的多个标签获取相应的数学模型，并依此将一个实例准确地划分到某一个类别中。多标签分类算法广泛地应用于医疗诊断、音乐分类和场景分类中，在这些分类中每一个输入数据样本都拥有多个标签。就像音乐分类系统，一首音乐可能同时属于多个标签，如古典音乐，轻音乐，流行音乐，爵士乐，钢琴曲。对于多标签数据，传统的单标签分类方法已无法满足需求。

图是一种最常用的数据结构之一，用于表示事物之间复杂的关系。图广泛地应用于很多分领域，用于表示复杂结构的物体。如文件分类和在线产品推荐。同时，图数据的复杂性也成为研究中的难点。一个有效的图数据应该能够提取或者找出这些图的一个适当的特征子集以用于分析或者预测。在现实应用中，训练图集的子图特征数量也许会呈指数倍增长，这些数据中包含大量的冗余数据和错误数据。所以多标签分类方法都将依赖于特征筛选程序以选择最重要的子图用来分类。

多标签图数据分类的一个基本挑战是确定训练图集的最优特征子图。图分类问题已经得到了广泛的研究。传统方法把主要研究方向放在单标签分类问题（二分类）上，它明确或模糊地假设每一个图只有一个标签。对于单标签分类问题，传统图数据挖掘方法可以扩展并用于找出单标签图数据集中的一个最具价值的子图特征。但是在多标签分类问题上，每一个图拥有多个标签，多个特征子图集需要挖掘。

特征选取就是根据某种评估标准，从原始的特征空间中选取最优的特征子图集，代替原始数据用于分类。评估标准在特征选取中起着至关重要的作用，因为他直接决定特征选取算法的性能和分类模型的准确率。目前，特征提取算法中的评估标准主要有距离准则、一致性准则、分类误差准则、信息准则和关联评估准则等。其中关联评估准则是一种应用广泛的评估准则，因为它能很好地度量特征之间的关联性。虽然特征提取算法在传统分类算法中得到了广泛应用，但在多标签图数据学习中并没有得到很好的应用。事实上，多标签图数据中包含大量冗余信息和分类信息量低的数据。因此，评估标准对于多标签图数据分类算法意义重大。

在这篇文章里，人们提出了一种全新的多标签分类框架。这个方法被称为基于模糊测量函数的多标签图数据特征提取。首先，利用基于模糊测量函数的特征子集评估标准评估特征子集，用于选取最优的特征子图。为了避免详细地列举所有的子图特征，这里使用一种名flqgSpan的边枝界定算法”，通过修剪子图搜索空间有效的搜索最优的子图特征。实验证明，特征选取算法对多标签分类性能有显著提高。

2.相关工作

由于关注的是基于图数据的多标签特征子图的挖掘，首先回顾多标签数据分类和子图特征挖掘。

2.1多标签数据分类

多标签学习算法用于处理每一个实例都同时具有多种不同的标签的数据。到目前为止主要有5种多标签学习算法，即数据分解策略、算法延伸策略、混合策略、整体策略和标签编码策略。

数据分解策略主要是通过不同的分解技巧将多标签数据分解成一个或多个单标签数据集。如x～多（OneVersusRest，OVR），二元关联（BinaryRelevance，BR），标签幂集（LabelPowerset，LP）。由于存在各种各样的单标签分类器和免费软件，如二分类支持向量机OVR_SVM，可以非常方便地实现一个数据分解算法。数据延伸策略是同时考虑训练数据的全部标签信息，延伸一个多类算法以处理多标签数据集。这种类型的算法有，多标签支持向量机（Rank-SVM），多标签核向量机（Rank-CVM），多标签神经网络（BP-MLL），但是这些算法需要解决复杂的最优化问题。混合策略使用现有的单标签分类方法，并且还明确地或者模糊地将多标签数据集分解成一系列的子集。本质上这些算法是通过稍微牺牲分类性能以减少运算量。典型的方法有多标签K近邻算法（ML-kNN），延伸后的支持向量机（OVR-ESVM）。整体策略是延伸一个现有的多标签整体分类算法或者实现一个整合上述三种多标签分类方法的算法。基于著名的AdaBoosting算法构建了两种不同的整体策略架构，AdaBoost.MH和AdaBoost.MR。新的整体策略算法包括整体分类链算法（EntireClassificationChain，ECC），随机K标签集方法（RAkEL），预测聚类树的随机森林法（RF-PCT）。标签编码策略将二进制标签向量转化为离散的密码词和真正密码词，通过分类算法和回归模型以预测新实例的密码词，并且通过得到的有噪音的密码词还原二进制标签向量。有两种实现方法：标签扩展和压缩编码。这两种方法的区别在于得到的编码词是否比原二进制标签向量长。值得注意的是二进制标签向量和离散密码词分类性能相似，真实编码词分类性能较差。

2.2图数据挖掘

长期以来，图数据挖掘问题在机器学习领域得到了广泛关注。图数据挖掘问题主要包括图的匹配、图数据中的关键字查询、频繁子图挖掘、聚类以及分类等。其中频繁子图挖掘算法主要研究关于如何从图数据中提取最具信息价值的子图特征信息。常见的频繁子图挖掘算法可以分为4类：基于Apriori的算法、基于模式增长的算法、基于模式增长和模式归约算法和基于最小描述长度的近似算法。基于Apriori的频繁子图挖掘算法包括基于Apriori算法的图挖掘（Apriori-basedGraphMining，AGM）、Frequert子图发现（FrequertSubgraphDiscovery，FSG）、路径连接算法等。基于模式增长的频繁结构挖掘算法，包括gSpan，快速频繁子图挖掘（FastFrequentSubgraphMining，FFSM）、CloseGraph等。基于模式增长和模式归约的精确稠密频繁子结构挖掘算法，包括CloseCut及Splat等。基于最小描述长度的近似频繁子结构挖掘算法，包括SUBDUE等。gSpan算法是一种由Yan～Han提出的基于深度优先搜索算法及最右路径扩展技术生成频繁子图的算法。

尽管多标签图数据分类算法得到了广泛的研究，但将模糊理论用于多标签图数据子图特征挖掘的研究相对较少。该算法引进模糊测量方法，根据子图和母图之间的隶属度关系，建立隶属度函数，然后通过隶属度函数评估子图的重要性。为了避免详细地列举所有的子图特征，使用频繁子图挖掘算法gSpan，通过修剪子图搜索空间有效地搜索最优的子图特征。

3.基于模糊适应度函数的图分类多标签特征选取

这一节将详细介绍本文提出的基于模糊测量函数的多标签图数据特征提取方法。为了更好地阐述算法，首先介绍本文需要用到的相关概念，其次介绍多标签特征评估标准，最后介绍gSpan算法修剪子图搜索空间。

多标签图数据分类的特征选取的关键在于如何从多标签图数据中找出最具有信息量的子图。所以，本篇论文的研究问题可以描述为如下形式：为了训练一个有效的多标签图分类，如何从多标签图数据中有效地找出一个最优的子图特征集。挖掘多标签图数据的最优子图特征是一个非常有意义的任务，因为以下原因：（1）如何基于图的多种标签正确的评估子图特征集的有用性？（2）如何基于图的多种标签用合理的时间消耗确定最优子图特征，避免详细列举？图的子图的特征空间通常是非常巨大的，因樽油嫉氖量随着图的大小呈指数倍增长。

3.2多标签特征子图评估

首先把集合A定义为子图和母图之间的模糊集。被称为模糊测量的模糊子集的评估标准被提出来评估模糊集A的模糊性的自由度。模糊性的自由度用于在全局水平中表示元素是否属于模糊集A的程度。在这里采用模糊熵为模糊性的自由度的测量方式。

其中H（QJ）表示由第Q个子图有第，个类标签的熵，Xi表示在模糊集中第q个子图的第价特征表示。关于FSE哽加详细的描述可以在文献中找到。

3.3子图空间搜索算法

为了能够列举图数据的全部子图，本文采用一种有效的算法，这是由Yan和Han提出的gSpan算法。他们首先在所有图的边界上建立一个词典序列，然后绘制每一幅图的独一无二的最小DFs编码作为图的标准标签。当且仅当两幅图形状完全相同时它们的最，JxDSP编码才相等。基于这个词典序列，利用深度优先搜索策略（DFs）有效地在DFS编码树上搜索所有子图。通过深度优先算法搜索DSF编码树的节点，可以在图的DFS编码序列中列举每一个图的所有子图，并且可以在树上直接修剪不是最小DFS的节点。下列详细介绍一TgSpan算法。

gspaJl算法思想：同一幅图可以生成多个不同的DFS树，gSpan算法就是按照DFS自动顺序选择其中一个作为基本的DFS树，然后对其进行最右扩展以寻找最优秀子图。具体过程如下：（1）扫描图数据集，去掉不符合的顶点和边。（2）将得到的包含k条边的子图作为种子图，根据最右路生长规则生成k+l条边的候选子图。如果该子图是最小DFs词典顺序，则计算（FSEI），不符合的进行修剪。（3）重复（2），直到没有新的候选子图生成为止。详细请见文献。

3.4基于模糊适应度函数的图分类多标签特征选取算法

受最近在图数据分类算法上研究的启发。这些算法把评估标准加到子图模式挖掘步骤中并且通过约束以修剪搜索空间，本文也采用相似的算法。主要有3个步骤：（1）采用一个标准的搜索空间，其中包含可以列举的所有子图模式。（2）搜索子图空间，通过FESI找出最优的子图特征。（3）提出一个FESI上界用于修剪搜索空间。

3.4.1子图列举

为了列举从图数据集中所有的子图，本文采用前文中提到的gspan算法。不同于列举子图和同构测试，gSpan首先建立一幅图的所有边的一个词典顺序，然后找出每一幅图的最小DFS编码作为独一无二的标签。基于这个词典顺序，通过深度优先策略可以有效地搜索DFS编码树中的所有子图。

3.4.2FSEI上界

通过上一步，本文已经可以列举图数据的所有的子图模式。现在本文将设定FSEI上界值以便可以修剪搜索子空间。

定理2（FSEI上界）对于任何两个子图g，g’∈s，g’是图g的母图（g’g）。则g的FSEI值受到g’的FSEI值约束，即（FSEI（g）

3.4.3修剪子图搜索空间

在这一步，本文通过FSEI上界有效的修剪子图搜索空间。在深度搜索DFS编码树时，在完全找出所有（FSEI）值时维持暂时的次优的FSEI值（用φ符号表示）。如果φ

4.实验

在这一部分，本文拿本文的方法和图数据的多标签分类方法进行对比性实验。本文使用现实生活中的多标签数据集，通过对这些图数据的实验验证本文算法的实用性与准确性。

4.1数据集

本文使用一组化合物抗癌活性性能数据集，NCI，作为实验用的基于图的多标签数据集。这组数据包含了化合物对于10种癌症（如：白血病，前列腺癌，乳腺癌）的抗癌活性性能的记录，将10种癌症中那些不完全的记录移除，最终得到812个被分配了10个标签的图。表2是关于NcI数据集中标签和癌症的简介。

每一个标签代表一种癌症的实验结果。“Pos（%）”表示每个实验的积极化合物的平均百分比。

4.2试验方法与参数设定

为了能体现出本文提出的算法的有效性与实用性，文章将实现以下方法进行对比。

（1）多标签特征选择+多标签分类（MLFS～SVM），本文首先采用本文的方法找出最优的子图特征集，然后用SVM―对多的训练每一个类并用于多标签分类。本文用SVMqight软件包训练多个SVM，其中的参数设置成默认模式。

（2）二元分解+单标签特征选择+二分类（BinarIG+SVM）：本文和另外的一个将多标签问题分解成多个单标签问题的算法就行对比。对于每一个二分类任务，本文都用InformationGain（IG）作为一个熵，以从频繁子图中选择最具识别力的特征子集。使用SVM的二分类模式分别将图分类成多个二分类。

4.3实验结果评估

多标签分类比传统单标签分类问题需要不同的实验结果评估标准。在这里本文采用RankingLoss和AveragePrecision以评估多标签分类性能。假设多标签图数据为D=（G1，y1），…，（Gn，yn）。其中图Gi被标记为yi∈（0，1）Qf（Gi，k

AvgPrec∈[0，1]值越大，性能越好。在这个实验中本文采用llAvgPrec～AveragePrecision。因此，所有的评估标准的值越小，性能越好。

4.4实验结果

在本文的实验中，每一个图数据集都将其平均的分割成10个小的数据集。在这10个数据集中本文只采用其中的1个作为测试集，其他的9个数据集作为训练集。本文实验分别选择[5，10，15，20，25，30，35，40]个不同的最优子图进行对比实验。实验结果如图1-2所示。图1表示RankingLoss的实验结果，图2表示1-AvgPrec的实验结果。

如图1-2所示，横坐标表示本文实验最终选取的最优子图数量，纵坐标则分别表示RankingLoss和1-AvgPrec值。从图2曲线图可以知道，随着选取的标签节点数的增加，本文方法（MLFS+SVM）输出效果比（BinaryIG+SVM）的输出效果略好。由图2本文可以看出，在最优子集选取数量少时本文的算法优于对比算法，但随着选取的子图数量增加，本文的算法输出效果和对比算法很接近。值得注意的是本文的算法是同时考虑多个标签的信息价值，将多个标签同时应用于图数据分类问题。而BinaryIG+SVM算法则是单独选择每一个标签的特征集，这些特征集分别用于SVM进行图数据分类。所以本文的方法在实用性上有可取之处。

总之，文中的方法同时采用多个标签进行分，在一定程度上对图数据的分类结果有较好的影响。

地理数据的基本特征范文篇2

关键词：森林资源；遥感；分类；特征变量

1引言

目前，各国研究机构广泛发展了基于遥感与抽样技术相结合的森林资源面积监测体系。抽样方法可大范围、快速监测森林资源动态变化，但无法在实际监管中存在有效利用，也就是存在监管不到位的现象。因此，结合实际，深入研究森林资源遥感分类区划方法中的一些关键技术，对促进森林资源调查遥感监测技术的发展具有重要意义。

2森林资源分类中遥感数据的波谱特征

2.1光谱特征多光谱遥感影像能够对不同的森林进行区分，也是森林资源遥感分类应用最广泛和最基本的识别特征。目前基于多光谱特征的森林资源定量分析则是通过计算各个类别的均值、方差、标准偏差和离散度等统计量，作为比较不同类别相似度的量化依据，并在这些统计量的基础上建立判别函数实现森林资源遥感分类。但由于遥感数据空间分辨率、光谱特征值、光谱波段设置等限制，以及遥感影像像元都是地物光谱综合信息的特点，致使单纯依靠多光谱特征的森林资源遥感分类存在诸多分类混淆，“同物异谱、异物同谱”现象广泛存在。

2.2高光谱数据特征高光谱数据的光谱分辨率很高，能精确识别不同的树种。但高光谱数据各波段之间存在着高度的相关性，对分类精度有很大的影响。因此，高光谱数据的降维处理是目前高光谱数据处理的必经过程。目前，降维方法可分为两大类：①基于变换的方法，如主成分变换、正交子空间投影、正则分析、离散小波变换等。基于变换的降维方法优点是可以经若干变换直接将高维数据降低到几维甚至一维，信息量高度集中，降维速度快；其缺点是改变数据原始特性；②基于非变换的，主要是波段选择。基于非变换的降维方法保持数据原有特性，但波段选择算法目前均不成熟，难度大。

3森林资源分类中遥感数据的纹理特征

纹理特征作为遥感影像数据重要的空间特征之一，是对影像像元之间空间分布的一种描述，其空间分辨率决定了纹理结构信息的丰富度。高分辨率遥感影像可大幅度减少了混合像元的比例，能非常直观的展示地面目标地物的空间位置、结构、形状、色彩等信息，有利于辨识目标地物。但高分辨率影像数据量巨大，所含信息量十分丰富，在抑制异物同谱现象的同时增加了同物异谱现象，此外还存在着阴影问题等，这些均有可能引起分类精度的降低。为充分利用高分辨率影像，基于纹理、面向对象或光谱与空间信息结合等分类方法可有效提高分类精度得到迅速发展和应用。然而在图像分类中，特征并不是越丰富越好，对分类结果不利的特征可对分类结果起到干扰作用，导致识别或分类精度的降低。因此，选择合适的纹理特征，制定一个特征选择准则，配合一个好的搜索算法就显得十分必要。

4森林资源分类中遥感数据的时间特征

单一时相的遥感数据只能反映拍摄时间森林资源的波谱特征，但不同时期植物的生长发育规律可在遥感影像表现出不同的波谱信息。因此，可利用植物的时间效应特征来提高森林资源遥感分类识别能力。

5研究展望

5.1森林资源遥感分类特征变量选择存在的问题

5.1.1森林资源遥感分类特征变量的选择的理论研究还不完善在现有特征变量选择过程中高度依赖遥感数据的光谱特征，没有充分研究森林资源本身的特征在遥感数据上的机理体现，也就是没有从遥感机理上去分析、构建和选择特征变量。

5.1.2森林资源遥感分类特征变量的综合应用问题目前森林资源遥感分类特征变量较多的使用单一类型的特征变量，在利用单一类型的分类特征变量只能体现森林资源的一个方面，不论应用何种算法，对提高遥感分类精度的力度有限。因此，多类型分类特征变量综合应用是提高分类精度的有效途径。5.2森林资源遥感分类特征变量选择发展方向

5.2.1新的特征变量的不断挖掘影响不同植物差异，可从植物本身的主要物理性状，这些因素主要受植物本身基因控制，这些特征变量参数可通过过SAR数据来解决。一些植物生化组分含量特征方面，可利用高光谱数据反演植物内部生化组成含量，探索基于生化组分含量与光谱的相互作用显著的敏感波段，并利用这些波段的影像对森林资源进行分类，使遥感分类更具机理性。

5.2.2特征变量的综合应用由于不同区域范围内具有特定的植物种群结构，不同时相植物存在着不同的生长规律，可根据植物生长状态，及其生长周期内生理、外形、结构等变化或季节变化特点，研究出某类植物最佳辨别时相，以及组合分类的特征变量组合。基于不同传感器数据提取不同森林资源遥感分类信息，联合使用多种分类特征的互补信息可有效提高遥感分类精度。开展森林资源遥感分类特征变量和敏感性与不确定性分析，在分类特征变量深入挖掘的基础上，结合主要分类器，建立不同分类特征的精度敏感性分析，进一步建立评估模型，为模型通用性检验及区域推广提供技术基础。

因此，不同区域的森林资源分类可按区域特性，建立区域特征数据库，综合应用适合该区域遥感分类特征变量，提高分类精度，使其更好的服务于森林资源调查分类及遥感监测需求。

地理数据的基本特征范文

关键词：人体运动跟踪；三维重建；特征融合；情感识别

中图分类号：TP182文献标识码：A文章编号：1009-3044(2011)11-2649-03

TheResearchofAffectiveRecognitionontheHumanMotionTracking

DINGYi1,2,FUXian1

(1.TheCollegeofComputerScienceandTechnology,HubeiNormalUniversity,Huangshi435002,China;2.Collegeofcomputerscienceandtechnology,HuazhongUniversityofScienceandTechnology,Wuhan430074,China)

Abstract:TrackingofhumanmotionisanimportantresearchareawhichcombinescomputervisionandMan-MachineInteraction.Thefocusoftheresearchisindetectingandtrackingfiguresinvideos,capturingandreconstructingthehumanmotion,andthendescribingandinterpretingthehumanbehavior.Inthispaper,arecognitionmethodformultipleclassifiersisproposed,whichcombineshumanmotiontrackingandanEigenfacemethodwithsupportvectormachine(SVM).andfuseISRresultsandFERresultsbymarkingpunctuationandachievetherecognitionresults.

Keywords:humanmotiontracking;threedimensionalreconstruction;featurefusion;affectiverecognition

在交流中检测并理解他人的情感状态是人类智能的一种核心能力。这种能力在人的社会生活中是不可或缺的。但是在人与计算机的交流中，情感的作用在很长的一段时间都被忽视了。能够感觉到悲伤、高兴等情感并且根据这些情感调整自己行为的人机交互系统将会使计算机更加自然、高效和更加值得信赖。具有情感识别能力的人化人机交互将使计算机易于使用，并使使用者更愉快，因而可提高生产效率。目前已经有学者研究试图让计算机根据脸部表情和声音特征来理解人的情感，但是还很少有人研究根据人体运动特征识别情感。研究表明，人体运动特征中不仅包含丰富的情感，而且包含有一些面部表情和声音中所没有的情感信息。因此根据人体运动特征识别情感具有重要的意义和不可替代的地位。

1国内外发展现状与趋势

通过情感识别来设计更加自然的、人化的人机交互系统是从Picard提出情感计算[1]的概念开始的。20多年来，研究者们从人的脸部表情和声音特征研究情感识别的方法，取得了大量的研究成果。最初的情感识别研究是从面部表情开始的，对面部表情的分析，已经形成了一个标准的面部表情编码系统（FacialActionCodingSystem）。面部表情编码系统将面部表情特征通过面部关键部位的60多种动作单元来描述。研究者们通过先提取出这些动作单元构成面部表情特征[2]，再利用机器学习方法从这些特征中挖掘出情感模式来识别人的情感状态[3]。基于声音特征的情感识别也取得了大量研究成果[4]，识别的步骤和基于面部表情的情感识别类似，也是利用机器学习方法从声音特征中学习出情感模式[5]。近年来一些研究者开始将面部表情特征和声音特征结合在一起设计出基于多模特征的情感识别方法[6]。近年来有的研究者尝试将一些简单的静态的身体姿态特征（如手放的位置）和面部表情结合起来识别情感，结果表明能够大大提高识别率。但是系统地利用完整的人体运动特征（即动态身体姿态的变化规律）来识别情感的相关研究，尚未见公开的文献报道。

综上所述，从目前来看，情感识别的研究主要集中在基于面部表情和声音特征的情感识别，而心理学研究表明人体运动特征中包含有丰富的情感信息，是情感识别的一条重要途径。人机交互中情感识别的发展趋势有机地融合人体运动特征、面部表情和声音特征来识别情感。

2基于人体运动特征的情感识别研究内容

本研究实现一个情感识别原型系统。原型系统能够根据人体运动特征、面部表情和声音特征来识别人的情感状态。其中基于人体运动特征的情感识别是本研究的主要研究内容，相应的技术将采用本研究相应的研究成果；基于面部表情和声音特征的情感识别采用已有的技术来实现。原型系统的总体技术路线框架如图1所示。

从数据的处理流程来看，情感识别的过程分两步完成：特征提取和情感分类。特征提取从原始数据空间中提取出对情感识别有用的便于操作的特征数据，是一个将数据从原始数据空间映射到特征数据空间的过程；情感分类根据特征数据确定人的情感状态，是一个将数据从特征数据空间映射到情感描述空间的过程。

从所使用的特征数据来看，整个过程是基于人体运动特征情感识别、基于声音特征情感识别和基于面部表情情感识别的综合。三者的融合可以采用信号级融合、特征级融合或决策级融合。信号级融合将多个信号混合在一起，这要求所融合的信号是同步的，并且具有相同的性质。特征级融合将不同的信号处理模块输出的特征混合在一起，这种方法能够保证多媒体数据中足够多的信息被利用。

2.1人体运动特征提取

人的肢体运动主要表现骨架关节的角度和位置变化，人体运动特征提取就是从视频中恢复出三维空间骨架关节角度即人的姿态的过程。以线图模型（StickFigure）为基础建立模糊的人体运动模型，线图模型能够较好的描述人体各关节的结构约束，是一种合适的人体姿态描述方法，本研究在线图模型的基础上加入模糊的人体运动描述方式，同时加入二阶ARP运动学约束，构成模糊人体运动模型，根据前两帧的状态来预测当前帧的状态。整个特征提取的过程以模糊运动模型为基础，分为初始化、自底向上分析、自顶向下合成几个模块。

初始化模块从视频中获取人体的初始姿态来实现模糊运动模型的自动初始化。首先，采用基于HOG（方向梯度直方图）的人体检测方法定位人体的位置，然后，基于学习回归的三维姿态估计提取出人体轮廓的形状描述子，根据形状轮廓描述子通过一个经过学习的RVM（RelevanceVectorMachine）回归得到三维姿态。

自底向上分析模块从视频中恢复出二维姿态。首先，全局运动跟踪从当前帧图像中定位人置，跟踪算法使用计算量比较小的卡尔曼滤波器，定位匹配使用的特征采用颜色特征和LBP（局部二进制模式）纹理特征。接下来，从跟踪得到的人体区域中检测定位头、手、脚等关键部位,关键部位的检测采用支持向量机。最后，由定位得到的各关键部位的位置进行分析整理得到人体二维姿态。

自顶向下合成模块主要通过模糊运动模型的人体结构约束和运动学约束预测人体的三维姿态。首先，通过模型的预测得到一个可能的三位姿态空间，接着，利用自底向上分析得到的二维人体姿态根据摄像机定标得到的映射矩阵映射到三维空间，由于从二维空间映射到三维空间是一个不适定问题，得到的解是多值的。最后，最优解搜索将映射得到的解空间与预测得到的解空间取交集，同时使用颜色等其他特征消除多义性，得到最优的三维姿态。多个三维姿态的序列就构成了人体运动特征。

2.2面部表情特征、声音特征提取

面部表情特征提取从视频数据中提取出与情感相关的面部特征，本研究采取基于面部表情编码系统的方法。首先采用已有的人脸检测算法从视频中检测并定位人脸，分割的人脸图像经过Gabor滤波提取小波特征，同时从人脸中检测并定位眼睛、鼻子和口等关键部位，根据这些关键部位的位置确定需要提取特征的特征点的位置，根据特征点位置从小波图像中提取特征。

将视频中分离出的声音信号根据采样率进行分帧,采取现有的比较成熟的特征提取算法，逐帧提取能量(Energy)、基音频率(Pitch)、频率重心(SpectralCentroid)、美尔倒谱系数(MFCC)等类型特征，形成特征序列,以各个特征的均值与方差作为特征值。对提取出的特征值进行标准化，以使各特征都能够足够得对分类结果产生影响。归一化后的特征向量序列作为声音特征输入到HMM进行情感分类。

2.3情感模式学习以及建模

情感识别采用隐式马尔科夫模型。一种情感状态对应一个隐式马尔科夫模型，对一个运动特征序列的情感识别的过程就是一个模型评价的过程，即通过计算特征序列对应各个模型的概率取概率最大的模型的过程。模型参数的学习采用一种状态动态裂变的方法，如图2所示。

在学习过程中，不但根据调整模型参数使其最大化适应本类型情感的样本，而且根据模型对本类型情感样本和其他类型情感的样本进行状态裂变来调整模型的拓扑结构，最终使各模型对情感的区别能力满足情感识别的需要。HMM设定一个初始拓扑结构，利用Baum-Welch算法从样本序列中学习得到初始的参数。将初始参数用来计算对本类型样本序列和其他类型样本序列的概率，选择一个合适的状态进行状态裂变，选择的原则是裂变后模型对本类型样本的概率变大，对其他类型样本的概率变小。裂变之后重新利用Baum-Welch进行学习，直到模型的区分能力达到一个满意的级别。

采用八种基本情感（愤怒、悲伤、害怕、高兴、喜爱、惊讶、厌恶、害羞）为基础，根据实验数据分析人体运动中那些情感表现比较明显，在八种基本情感之上进行添加和删除，最终得到一个适合于人体运动情感识别的基本情感集合。对不同的情感类型的样本使用HMM学习，分析学习得到的HMM参数，从中找出运动特征与情感之间的关系。通过对不同文化、性别和个体的样本学习，再对学习得到的HMM参数进一步进行挖掘，得到参数的模式后，通过参数的模式解读相应的运动特征模式。

2.4决策级融合

决策级融合分别根据三种特征进行情感识别，然后根据识别得到的情感状态和概率确定最后的输出。根据三种特征对每种情感状态都可以由分类器得到一个后验概率，用pmn表示（其中m=1,2,3分别代表人体运动特征、声音特征和面部表情，n=1，2，3…N分别代表愤怒、悲伤、害怕等八种情感状态，例如p31表示根据面部表情判断情感状态为愤怒的概率）。决策准则从“最大值”、“平均值”、“乘积”和“加权”四种准则中选择。“最大值”准则从输出的概率中取最大概率对应的情感状态作为最终结果输出，用f表示最终输出情感状态，“最大值”准则用公式描述如下：

“平均值”准则分别对每种情感状态由三种特征得到的概率求平均值，取平均值最大的情感状态作为最终输出的情感状态。即：

“乘积”准则分别对每种情感状态由三种特征得到的概率求积，取积最大的情感状态作为最终输出的情感状态。即：

“加权”准则分别对每种情感状态由三种特征得到的概率求加权平均值，取加权平均值最大的情感状态作为最终输出的情感状态。用w1、w2和w3分别表示人体运动特征、声音特征和面部表情对应的权值，“加权”准则用公式描述如下：

由于融合准则的选择只能凭经验判断，本研究对所有的准则进行试验，根据试验结果分析得出合适的融合准则。

3总结

本研究实现一个情感识别原型系统。原型系统能够根据人体运动特征、面部表情和声音特征来识别人的情感状态。其中基于人体运动特征的情感识别是本研究的主要研究内容，相应的技术将采用本研究相应的研究成果；基于面部表情和声音特征的情感识别采用已有的技术来实现。从而得到有效的基于人体运动特征的情感识别方法，最终将基于人体运动特征的情感识别方法和已有的基于脸部表情和声音特征的情感识别研究成果结合在一起，实现一个多模情感识别原型系统。

参考文献：

[1]RosalindW.Picard,AffectiveComputing,TheMITPress,Cambridge,MA,USA,1997.

[2]Chao-FaChuang,FrankY.Shih,Recognizingfacialactionunitsusingindependentcomponentanalysisandsupportvectormachine,Patternrecognition,2006,39(9):1795-1798.

[3]Jia-JunWong,Siu-YeungCho,Facialemotionrecognitionbyadaptiveprocessingoftreestructures,The21stAnnualACMSymposiumonAppliedComputing,Dijon,France,2006.

[4]DimitriosVerveridis,ConstantineKotropoulos,Emotionalspeechrecognition:Resources,features,andmethods,SpeechCommunication,2006,48(9):1162-1181.